Kafka Engineer
Posted Updated
Tryb pracy: Zdalnie (okazjonalne wizyty w biurze Wrocław)
Stawka: 1000-1200 PLN/MD B2B
Poszukujemy doświadczonego Kafka Engineera z dogłębną znajomością Confluent Platform, Confluent Kafka oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastry on-premise i AWS.
Projekt obejmuje:
- budowę rozwiązania Kafka w chmurze AWS, w tym m.in. Aurora, MSK, EKS,
- implementację replikacji danych pomiędzy klastrami on-premise i AWS z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator,
- stworzenie procesów CI/CD oraz rozwiązań Infrastructure-as-Code dla środowiska AWS,
- zapewnienie wysokiej dostępności, bezpieczeństwa, monitoringu oraz odpowiedniej wydajności platformy.
Wymagania techniczne – must-have
Kafka i Confluent
- Minimum 4 lata doświadczenia z Apache Kafka.
- Biegła znajomość:
- Confluent Platform (Enterprise),
- Confluent Kafka,
- Confluent Cloud.
- Doświadczenie w budowie, utrzymaniu, migracji i replikacji klastrów Kafka.
- Praktyczna znajomość:
- MirrorMaker 2,
- Cluster Linking,
- Confluent Replicator.
AWS
Praktyczna znajomość usług:
- VPC,
- IAM,
- EC2,
- EKS,
- MSK,
- S3,
- KMS,
- AWS Secrets Manager.
Środowiska hybrydowe
- Doświadczenie w budowie i utrzymaniu środowisk hybrydowych on-premise ↔ AWS.
Infrastructure-as-Code
- Bardzo dobra znajomość Terraform, w tym:
- tworzenie modułów,
- zarządzanie stanem i wersjonowaniem,
- testowanie infrastruktury,
- Terratest,
- tfsec.
- Znajomość Ansible.
CI/CD
- Doświadczenie w tworzeniu i utrzymywaniu pipeline'ów CI/CD.
- Znajomość:
- GitHub Actions,
- GitLab CI,
- Jenkins.
- Doświadczenie w automatyzacji testów integracyjnych dla Kafki.
Programowanie i scripting
- Znajomość:
- Python,
- Bash,
- Ansible.
Monitoring i observability
- Doświadczenie z:
- Prometheus,
- Grafana,
- Confluent Control Center,
- OpenTelemetry,
- Elastic Stack.
Bezpieczeństwo
- Znajomość:
- TLS,
- SASL,
- ACL,
- RBAC,
- szyfrowania danych w spoczynku,
- szyfrowania danych w tranzycie.
Metodyki pracy
- Doświadczenie w pracy w Scrum i/lub Kanban.
- Znajomość narzędzi:
- Jira,
- Confluence.