Label in the Loop
Wydajny system do efektywnego trenowania modeli uczenia maszynowego poprzez proces etykietowania.
Label in the Loop jest technologią wspomagającą dla organizacji opartych na danych, które potrzebują współpracy lub nadzoru ekspertów.
Podstawowa propozycja wartości LITL polega na inteligentnej selekcji i wyborze próbek danych oraz inteligentnym wyznaczaniu odpowiednich ekspertów dziedzinowych.
- Metody łagodzenia skutków zimnego startu w LITL (wybór początkowej partii danych) osiągają stabilny wynik i jakość 80 percentyla (lub wyższą) rozkładu jakości (niestabilnej) metody bazowej.
- Metoda ekstrakcji wiedzy eksperckiej osiąga ponad 110% jakości najlepszego eksperta.
- Na 10% danych LITL osiąga ponad 80% jakości modelu wytrenowanego na 100% danych (lepsze modele szybciej i taniej).
Technologia LITL:
01.
Redukcja czasu i kosztów trenowania modeli uczenia maszynowego
02.
Trenowanie modeli uczenia maszynowego w scenariuszach bez danych lub z małymi danymi – pozwalające na stopniowe zwiększanie jakości modelu i jego adaptację do zmieniających się danych lub wymagań
03.
Analityka ekspercka (tj. przydzielanie ekspertów, konsensus ekspertów i szacowanie wydajności ekspertów)
Jak to działa?
LITL jest systemem aktywnego uczenia (active learning) do efektywnego trenowania modeli ML w przypadku braku danych oznakowanych. W szczególności, LITL wybiera próbki z puli nieoznakowanych danych, które będą miały największy wpływ na wydajność modelu i przypisuje je do ekspertów zgodnie z ich szacowaną wydajnością na podobnych próbkach. Sam proces przypisywania ekspertów balansuje pomiędzy eksploracją a eksploatacją wiedzy ekspertów w celu bardziej efektywnego oszacowania ich wydajności. Cały proces działa iteracyjnie, poprzez przetrenowanie modelu na podstawie kolejnych partii próbek danych. W miarę jak model uczy się na rosnącym zbiorze etykiet, zmienia swoją niepewność wobec nieoznakowanych jeszcze próbek danych.
Właściwości:
Aktywne uczenie się próbkowania
Wybór partii początkowej
Przydzielanie ekspertów
Konsensus ekspertów
Szacowanie wydajności ekspertów
Identyfikacja nowych klas
Aktywne uczenie
Wybór partii początkowej
Przydzielanie ekspertów
Właściwości:
