1. Kontekst technologiczny i wyzwania
- Awaria dużego dostawcy chmurowego (Azure) i jej wpływ na dostępność modeli LLM oraz usług (np. Bing, DuckDuckGo).
- Duża dynamika i zróżnicowanie modeli generatywnej AI od różnych dostawców: OpenAI, Microsoft, Google (Gemini), Elon Musk, Anthropic, Meta, DeepSeek.
- Ryzyko zależności od jednego dostawcy i błędów modeli (np. generowanie błędnych informacji).
- Konieczność dywersyfikacji i niezależności architektury IT w bankowości.

2. Architektura rozwiązania w mBanku
- Modularne podejście plug and play – szybka zmiana dostawcy modelu językowego (OpenAI, Gemini, Cloda, DeepSeek, polskie modele) jedną linijką konfiguracji.
- Frontend: aplikacje webowe, mobilne oraz wtyczki do przeglądarki dla minimalnej ingerencji w istniejące systemy.
- Autoryzacja i bezpieczeństwo opierające się na Microsoft Entra ID – łatwe zarządzanie dostępami (grupy, użytkownicy).
- Backend: FastAPI – prosty, dobrze udokumentowany framework REST API z aktywnym community.
- Integracja z modelami za pomocą LangChain (proste workflow) i LangGraph (bardziej złożone, agentowe).
- Monitorowanie z Prometeusem i wizualizacja KPI biznesowych w Grafanie.
- Przechowywanie danych: Postgres dla prostoty i stabilności, Redis dla wysokiej wydajności.
- Przetwarzanie tekstu i wyszukiwanie informacji finansowych bazujące na Quadrancie – prosty, konfigurowalny silnik z obsługą wyszukiwania semantycznego i hybrydowego.

3. Przykładowe wdrożenia
- mComplaints: wtyczka do przeglądarki wspierająca obsługę reklamacji dzięki:
• Podsumowaniu długich i niepoprawnie sformułowanych reklamacji.
• Podpowiedziom na podstawie podobnych historycznych przypadków.
• Proponowanym krokom rozpatrzenia i szablonom odpowiedzi zgodnym z wysokimi standardami.
• Wszystko pod nadzorem człowieka, który zatwierdza decyzje.
- Talk to Your Data: narzędzie analityka bankowego do szybkiego generowania zapytań SQL, oparte na dokumentacji i wiedzy analityków.
• Skraca czas analizy z dni do godzin.
• Frontend zbudowany na Streamlit – produkcyjnie działający z wieloma użytkownikami.

4. Biblioteka Gen AI Toolkit
- Wewnętrzne komponenty używane wielokrotnie w różnych aplikacjach.
- Funkcje: uwierzytelnianie, bazy danych, logowanie metryk, dodatkowa warstwa bezpieczeństwa.
- Ograniczenie komunikacji tylko do wybranych języków (polski, angielski, czeski, słowacki) dla bezpieczeństwa.

5. Plany rozwoju i innowacje
- Badanie tematyki wieloagentowości i multimodalności.
- Wdrożenie Modelu Kontekst Protokol (MCP) – zunifikowane API pozwalające dowolnemu modelowi językowemu bezpośrednio odpytywać bankowe systemy wewnętrzne.
- MCP to produkt własny banku, który pozostanie niezależny od wyboru dostawcy modelu AI.

6. Doświadczenia i rekomendacje
- Odpowiednie dzielenie tekstu na fragmenty jest kluczowe dla skuteczności wyszukiwania wektorowego.
- Uważaj na generowany format danych (np. JSON); stosowanie Structured Output z walidacją Pydantic poprawia niezawodność.
- Aby oceniać jakość odpowiedzi LLM, lepiej stosować osobny model niż ten sam, który generuje odpowiedź.
- Nawet małe zmiany w promptach systemowych mogą mieć duży wpływ na wyniki – warto mieć repozytorium promptów i komunikować zmiany w zespole.
- Dobieraj modele do konkretnych zadań, aby unikać nadmiernego zużycia zasobów (np. prostszy model do prostych podsumowań).

7. Pytania i odpowiedzi
- Podmiana modeli jest ułatwiona, ale wymaga też dostosowania promptów; w mBanku korzystają z LangFuse do zarządzania promptami.
- Streamlit udało się uruchomić produkcyjnie z wieloma użytkownikami po rozwiązaniu kwestii bezpieczeństwa.
- Kontrola dostępu bazuje na istniejących systemach dostępowych banku, analogicznie dla wtyczek i LLM.

---

Zadania i działania do podjęcia:
- Zapewnienie architektury umożliwiającej szybką i bezproblemową zmianę dostawcy modelu AI.
- Ciągłe monitorowanie KPI biznesowych i stabilności aplikacji za pomocą specjalistycznych narzędzi (Prometheus, Grafana).
- Utrzymywanie i rozwój repozytorium promptów z narzędziem LangFuse dla spójności i kontroli jakości promptów.
- Planowanie implementacji MCP jako zunifikowanego API wspierającego niezależność systemów od dostawcy AI.
- Testowanie i iteracyjne dopracowywanie promptów i workflowów, z uwzględnieniem zalecanych praktyk dotyczących dzielenia tekstu i formatowania odpowiedzi.
- Rozwój i utrzymanie wewnętrznej biblioteki narzędzi (Gen AI Toolkit) dla ułatwienia tworzenia kolejnych aplikacji.