Kiedy klasyczne ML wygrywa z LLM

Dwa różne narzędzia

Klasyczne uczenie maszynowe to regresja, drzewa decyzyjne, gradient boosting (XGBoost, LightGBM, CatBoost) i niewielkie sieci neuronowe. Taki model uczy się jednego zadania z Waszych historycznych danych, w których znacie już wynik. Dostaje na przykład 50 tysięcy zamówień, z których część skończyła się zwrotem, i uczy się przewidywać ryzyko zwrotu nowego zamówienia. Poza tymi danymi nie wie nic, ale w swoim zadaniu bywa bardzo dobry.

Model językowy przychodzi z ogólną wiedzą o języku i świecie. Zadanie opisujemy mu słowami, bez trenowania. To ogromna zaleta, kiedy danych nie ma, zadanie ciągle się zmienia albo wejściem jest tekst, którego nie da się wcisnąć w kolumny.

Jeśli macie historyczne dane z odpowiedzią, a zadanie jest stałe, klasyczne ML powinno być co najmniej punktem odniesienia.

Siedem sytuacji, w których stawiamy na klasyczne ML

1. Dane są w tabeli

Prognoza popytu, ryzyko odejścia klienta, ocena leada, wycena, wykrywanie nadużyć: wszystko to wiersze i kolumny. W dużych porównaniach na dziesiątkach zbiorów danych tabelarycznych modele oparte na drzewach wygrywają z głębokim uczeniem na zbiorach średniej wielkości, rzędu 10 tysięcy wierszy.

Modele językowe radzą sobie z tabelami głównie wtedy, gdy przykładów jest bardzo mało, rzędu kilku. Kiedy danych przybywa, gradient boosting im dorównuje, a liczy się w ułamku czasu. Na małych zbiorach z drzewami potrafią wygrać specjalne modele bazowe do tabel, ale to modele zbudowane do liczb, a nie czaty, a przy większych zbiorach drzewa wciąż są bezpieczniejszym wyborem.

2. Prognozujesz liczby w czasie

Sprzedaż w przyszłym tygodniu, obłożenie w grudniu, zużycie energii. Kusi, żeby wrzucić historię do modelu językowego. Badania popularnych metod prognozowania opartych na LLM pokazały jednak, że usunięcie z nich modelu językowego nie pogarszało wyników, a często je poprawiało. Do szeregów czasowych są osobne modele, trenowane na liczbach, a nie na tekście.

3. Decyzji jest dużo, a czasu mało

Model z rodziny gradient boosting liczy jedną predykcję w ułamku milisekundy. Wywołanie modelu językowego przez API to setki milisekund albo sekundy, plus sieć i zależność od dostawcy.

Sam koszt rzadko jest dziś głównym argumentem. Małe modele językowe dużych dostawców kosztują dziś około 0,10 dolara za milion tokenów wejściowych, więc milion decyzji z promptem po tysiąc tokenów to około 100 dolarów plus odpowiedzi. Zwykle ważniejsze są opóźnienie, powtarzalność i trafność.

4. Potrzebujesz prawdopodobieństwa, które coś znaczy

Wiele decyzji w produkcie opiera się na progu: płatność z ryzykiem powyżej 0,8 wstrzymujemy, lead z oceną powyżej 0,6 od razu trafia do handlowca. Żeby taki próg dało się rozsądnie ustawić, liczba z modelu musi być stabilna i sprawdzalna na Waszych danych, a najlepiej skalibrowana: 0,8 ma znaczyć mniej więcej osiem na dziesięć.

Model językowy zapytany o pewność zwykle ją po prostu deklaruje, a badania pokazują, że ma przy tym skłonność do przesadnej pewności siebie. Klasyczny klasyfikator zwraca liczbę, którą można zmierzyć i skalibrować na własnych danych prostymi, dobrze znanymi metodami.

5. Ten sam przypadek musi dać ten sam wynik

Wytrenowany model klasyczny to zwykła funkcja: to samo wejście, ten sam wynik, dziś i za rok. Z modelami językowymi nie jest to oczywiste nawet przy temperaturze 0. W eksperymentach ten sam prompt wysłany tysiąc razy z temperaturą 0 dawał kilkadziesiąt różnych odpowiedzi. Przyczyna leży w sposobie liczenia na serwerze: wynik zależy od tego, ile innych zapytań liczy się w tym samym momencie.

Da się to obejść, ale trzeba o tym wiedzieć. Gdy decyzja trafia do audytu, do testów regresji albo do sporu z klientem, „za drugim razem wyszło inaczej” jest bardzo złą odpowiedzią.

6. Ktoś zapyta „dlaczego?”

Ocena zdolności kredytowej osób fizycznych to w unijnym AI Act system wysokiego ryzyka, a wymagania dla takich systemów obowiązują od 2 grudnia 2027 roku. Osoba, której dotyczy decyzja, ma prawo do jasnego wyjaśnienia roli systemu AI i głównych elementów decyzji. RODO dodatkowo chroni przed decyzjami opartymi wyłącznie na automatycznym przetwarzaniu, jeśli wywołują one skutki prawne albo podobnie istotnie wpływają na osobę. W takich projektach wyjaśnialność jest wymaganiem, a nie dodatkiem.

Model drzewiasty z metodą SHAP pokazuje, ile każda cecha dołożyła do konkretnej decyzji. Model językowy też napisze uzasadnienie, ale to tekst napisany przy okazji, a nie zapis tego, jak decyzja zapadła. Badania pokazały, że takie wyjaśnienia potrafią systematycznie pomijać prawdziwy powód odpowiedzi modelu.

7. Masz kilkaset oznaczonych przykładów i stałe zadanie, nawet tekstowe

To najmniej oczywisty punkt, bo dotyczy tekstu, czyli domeny modeli językowych. W porównaniu z 2024 roku małe, dotrenowane modele wygrały z dużymi modelami pytanymi bez przykładów we wszystkich badanych zadaniach klasyfikacji tekstu, w części z nich bardzo wyraźnie. Wyniki przestawały rosnąć już przy 200-500 oznaczonych przykładach, więc nie trzeba do tego tysięcy danych.

Dzisiejsze duże modele wypadłyby pewnie lepiej. Kierunek jest jednak czytelny: jeśli zadanie ma Waszą własną, wąską definicję (na przykład „czy to reklamacja w rozumieniu naszego regulaminu”), kilkaset oznaczonych przykładów i mały model potrafią wygrać z ogólną wiedzą największego modelu.

Kiedy jednak LLM

Model językowy wygrywa, gdy:

• wejście jest nieustrukturyzowane i różnorodne: maile, umowy, skany, ulotki, rozmowy;

• nie ma oznaczonych danych albo zebranie ich kosztowałoby więcej niż cały projekt;

• zadanie często się zmienia, a przetrenowanie modelu przy każdej zmianie nie ma sensu;

• wynikiem ma być tekst: odpowiedź dla klienta, streszczenie, rozmowa.

Najlepiej razem

• LLM oznacza dane, mały model się na nich uczy. Model językowy potrafi oznaczać teksty taniej niż pracownicy crowdsourcingowi, a w części zadań także trafniej. Mały model wytrenowany na takich danych bywa potem lepszy od dużego, pytanego z kilkoma przykładami.

• LLM jako źródło cech. Model językowy czyta treść reklamacji i zwraca jej kategorię i ton. Te wartości trafiają jako zwykłe kolumny do modelu tabelarycznego, który zna resztę historii klienta.

• Kaskada. Tani, szybki model rozstrzyga pewne przypadki, a niepewne trafiają do modelu językowego albo do człowieka. Gdy większość przypadków jest prosta, większość ruchu obsługuje tani model, a drogi pracuje tylko tam, gdzie jest potrzebny.

Cztery pytania, zanim wybierzecie

1. Czy macie historyczne dane z odpowiedzią, choćby kilkaset przypadków? Jeśli tak, zacznijcie od prostego modelu klasycznego i potraktujcie go jako poprzeczkę dla LLM-a.

2. Czy dane są w tabeli, czy w tekście, obrazie albo dźwięku? Tabela to naturalny teren klasycznego ML.

3. Ile decyzji i w jakim czasie? Miliony decyzji w milisekundach to zadanie dla małego modelu blisko Waszych danych, a nie dla zewnętrznego API.

4. Czy ktoś będzie musiał wyjaśnić decyzję klientowi, audytorowi albo sądowi?

Model językowy to świetne narzędzie, ale nie jedyne. Najdroższy błąd w projektach z AI to często nie wybór złego modelu, tylko brak porównania z prostszym.