Big Data w praktyce – jak efektywnie przetwarzać wielkie zbiory danych

Prezentacja poświęcona będzie problemowi przetwarzania dużych zbiorów danych na przykładzie produktu Audience Propensities (AOS). Jest to system służący do obliczania skłonności konsumenckich bazującego na 8500 modelach regresyjnych i predykcyjnych, używany na przykład do przewidywania preferencji produktowych 80% populacji USA (250 milionów osób). Na prelekcji poruszone zostaną kwestie wydajności przesyłu danych między komponentami w architekturze mikroserwisowej oraz związane z tym ograniczenia. Podane zostaną przykładowe rozwiązania jakie zostały zaimplementowane, aby efektywnie wykorzystać zarówno dostępną moc obliczeniową, jak i zasoby sieciowe.