Od POC do Self service'u czyli wzloty i upadki przy tworzeniu platformy dystrybucji danych.

Jednym z wielkich wyzwań przy tworzeniu nowoczesnych systemów pozostaje ciągle integracja i wymiana danych.
Narzędzia takie jak Apache Kafka dają solidne wspacie dla transportu danych, ale czy robimy to wystarczająco dobrze?
Podczas sesji chcę opowiedzieć historię przebiegu budowy rozproszonego systemu wymiany danych od fazy POC aż do wdrożenia procesu samoobsługi dla zespołów technologicznych w firmie.
Przedstawię jak wykorzystaliśmy, a nawet nagieliśmy, narzędzia takie jak Apache Kafka, Kafka Connect czy Kubernetes. Zwrócę uwagę na jasne i ciemne strony open source, które napotkaliśmy na swojej drodze.
Pokażę nasz proces samoobsługi pozwalający innym zespołom na w pełni samodzielną integrację, nie wyłączając deploymentu czy ingerencji w infrastrukturę. Całość stanowić będzie case study ponad 2 letniej pracy nad platformą ze wszystkimi związanymi z nią problemami.