BrightBox

Tytuł projektu:

Opracowanie systemu BrightBox – narzędzia klasy explainable AI służącego do poprawy interpretowalności i przewidywalności działania metod uczących oraz diagnostyki poprawności działania wyuczonych modeli AI/ML.
Numer wniosku: MAZOWSZE/0198/19
Wartość projektu: 8 548 180,00 zł
Dotacja: 6 093 476,00 zł
Beneficjent: QED Software Sp. z o. o.
Czas trwania projektu: 2020-02-01 – 2022-07-31
Projekt realizowany w ramach: Konkurs „Ścieżka dla Mazowsza”

Cel projektu:
BrightBox – objaśnialne narzędzia klasy AI służące do poprawy interpretowalności i przewidywalności metod uczenia oraz diagnostyki poprawności wyuczonych modeli AI / ML. Jego celem będzie wsparcie:
1) analityków i specjalistów data science tworzących modele AI / ML,
2) ekspertów dziedzinowych walidujących modele AI/ML,
3) osób odpowiedzialnych za monitorowanie działania modeli AI / ML,
4) użytkowników końcowych wykorzystujących modele AI / ML w swojej pracy.

Oprogramowanie zapewni:
Wyjaśnienie decyzji podejmowanych przez istniejące (wyuczone) modele AI / ML, ze wskazaniem powodów podjęcia danej decyzji oraz wyjaśnienie powodów niepewności przy podejmowaniu decyzji (wyjaśnienie ryzyka popełnienia błędu przez model).
Przeprowadzanie analiz typu „co jeśli” i wskazywanie możliwej optymalizacji parametrów sterowania procesem monitorowanych przez modele AI/ML, w tym możliwości dopracowania danych wejściowych tak, aby zminimalizować ryzyko błędu.
Przeprowadzanie okresowej lub ciągłej diagnostyki błędów popełnianych przez wyuczone modele AI/ML, wraz ze wskazaniem najbardziej prawdopodobnych przyczyn błędów.
Projektowanie bardziej interpretowalnych metod uczenia modeli AI / ML, w tym metod bardziej odpornych na szumy w danych wejściowych i zoptymalizowanych pod kątem dopasowania miar skali błędów spełniających wymagania ekspertów dziedzinowych.
Oprogramowanie będzie przydatne w tych praktycznych obszarach zastosowania metod AI/ML, w których umiejętność zrozumienia i wyjaśnienia istoty ich działania jest wymagana przez prawo (lub planowane jest wprowadzenie takich wymogów w ramach nowych regulacji). Z drugiej jednak strony należy podkreślić, że w wielu obszarach (takich jak cyberbezpieczeństwo, monitorowanie ryzyka w procesach przemysłowych, telemedycyna itp.) poprawa przejrzystości i interpretowalności modeli AI/ML jest wysoce oczekiwana, niezależnie od istnienia jakichkolwiek regulacji prawnych.