AI kontra papierologia: Jak zaufaliśmy AI w wypełnianiu sprawozdań do KNFu?
14:40 - 15:10, 28th of May (Wednesday) 2025 / DEV AI & DATA STAGE
1. Jak uwolniliśmy firmy od nadmiernej papierologii?
Zacznę od pokazania skali papierologii, np. raportu BION składanego przez banki do KNF. Następnie przedstawię BION.AI – narzędzie oparte na RAG, które automatycznie wypełnia BION na podstawie dokumentów banku.
2. Kto zapłaci za błędy AI?
Zaadresuję słonia w pokoju, czyli problem odpowiedzialności za odpowiedzi złożone KNF-owi. Wprowadzę analogie z innych sektorów, takich jak medycyna czy prawo, gdzie maszyny (na przykład tomograf) już teraz wspierają decyzje ekspertów, ale ostateczna odpowiedzialność pozostaje po stronie człowieka. Podam też kilka przykładów pociągnięcia do odpowiedzialności ze względu na błędy zrobione przez AI i niesprawdzone przez człowieka.
3. Jak mieć pewność że odpowiedź LLMa jest wiarygodna bez wykonywania jego pracy raz jeszcze?
Porównam problem do problemu nadzorowania stażysty. Pokażę jak ułatwiamy osobom odpowiedzialnym za BION sprawdzenie odpowiedzi (dodajemy oczywiście bardzo dokładne źródła ale też opisujemy na które części wymaganych odpowiedzi nie zostały znalezione źródła oraz oceniamy wiarygodność odpowiedzi).
Przedstawię też alternatywne podejścia do oceny wiarygodności generowanych odpowiedzi. Red teaming, głosowanie ensemble of LLMs, human-in-the-loop i inne.
