Jak wpływ rosnącego wolumenu danych oraz coraz większe oczekiwania naszych klientów wpłynęły na rozwój naszego systemu BigData

W tej prelekcji chciałbym opowiedzieć o tym jak ewoluował nasz system Big Data wraz ze wzrostem wolumenu danych jak i nowymi oczekiwaniami naszych klientów. Jakie zmiany musieliśmy wprowadzić, aby spełnić potrzebny systemu. Zmiany podejścia do danych z batchowych na online, zmiana Sparka na Flink i innych technologii. Z jakimi problemami wydajnościowymi się borykaliśmy oraz jak stworzyliśmy interfejs użytkownika dla naszego systemu.