- Bezprawnik -
- Technologie -
- Polak po godzinach zbudował model AI ze światowej czołówki. Basal jest 12 razy tańszy od lidera
Polak po godzinach zbudował model AI ze światowej czołówki. Basal jest 12 razy tańszy od lidera
Remigiusz Kinas stworzył model sztucznej inteligencji, który pomaga programom podejmować konkretne decyzje. Jego Basal znalazł się w światowej czołówce tak wyspecjalizowanych rozwiązań. Żeby zrozumieć znaczenie tego osiągnięcia, najlepiej zacząć od czegoś zwyczajnego: wiadomości od niezadowolonego klienta.
Czajnik dotarł uszkodzony. Jak model decyzyjny Basal pomaga obsłudze klienta
Wyobraźmy sobie sklep internetowy, do którego codziennie przychodzą tysiące wiadomości. Jeden klient pyta o przesyłkę, drugi chce wymiany towaru, trzeci pisze: „Czajnik przyszedł pęknięty, proszę oddać pieniądze”. Ktoś musi je przeczytać i skierować do właściwej obsługi.
Basal może pomóc właśnie na tym etapie. Dostaje wiadomość, pytanie o zamiar klienta oraz opisane możliwości, np. zwrot pieniędzy, wymianę albo prośbę o informację. Następnie ocenia, która odpowiedź najlepiej pasuje. Takie narzędzie nazywamy modelem decyzyjnym. Listę możliwości można zmieniać zależnie od zadania, bez trenowania nowego modelu do każdego podziału spraw.
Po co osobny model AI, skoro mamy ChatGPT
Modele takie jak GPT czy Claude również potrafią przyporządkować wiadomość do kategorii. Są jednak przygotowane także do tworzenia tekstów, prowadzenia rozmowy czy pisania kodu. Basala wyspecjalizowano w ocenianiu dostępnych odpowiedzi.
Przetwarza dostarczone informacje i oblicza prawdopodobieństwa wariantów, bez układania odpowiedzi kawałek po kawałku. Odpada więc etap generowania tekstu – a to właśnie przy swobodnym generowaniu zdarzają się wpadki, czego przykładem są przypadki, w których chatbot wymyślił usterkę. Przy tysiącach powtarzalnych wyborów ma to znaczenie dla szybkości i kosztów.
Basal podaje również liczbową ocenę pewności. Chodzi o to, żeby deklaracja „90 procent” rzeczywiście odpowiadała poprawnej odpowiedzi w mniej więcej dziewięciu na dziesięć podobnych przypadków.
Basal powstał na bazie Gemmy, a jego twórca współtworzył Bielika
Pierwszy Basal pojawił się we wrześniu. Wcześniejsze wersje korzystały z polskiego Bielika AI, natomiast wyróżniony basal-omni-1.0-ultra powstał na bazie Gemmy 4 od Google’a. Kinas dostroił ją na około 640 tysiącach przykładów decyzji po polsku i angielsku.
Wykorzystał więc istniejący model, nadając mu specjalizację. Udostępnia również model do pobrania i kod pozwalający uruchamiać go na własnych maszynach.
Sam jest współtwórcą Bielika, pracuje nad AI dla biologii w Ingenixie, a SATIM-owi doradza przy rozpoznawaniu obiektów na radarowych zdjęciach satelitarnych. Za projektem realizowanym po godzinach stoją lata praktyki – nie ukrywam, że jako osoba stawiająca pierwsze kroki w tej branży trochę zazdroszczę ;).
Basal w JevBench: pierwszy wśród modeli z otwartymi wagami
W JevBench z 17 października Basal był pierwszy wśród modeli z otwartymi wagami i drugi ogółem w zestawieniu łączącym jakość decyzji z wiarygodnością oceny pewności, przy określonych limitach kosztu i czasu odpowiedzi. Po zdjęciu tych limitów spada na czwarte miejsce wśród modeli otwartych, ale traci do lidera zaledwie pół punktu, a jest od niego mniej więcej dwanaście razy tańszy.
Przypominam, że mówimy o projekcie stworzonym przez jedną osobę po godzinach, a nie przez zespół jakiegoś studia mającego do dyspozycji miliardy dolarów.
W takiej sytuacji bardziej od kolejnych gratulacji interesowałoby mnie zapewnienie twórcy warunków do dalszej pracy. Skoro pokazał, co potrafi zrobić po godzinach, warto byłoby się dowiedzieć, co można osiągnąć przy większych zasobach. Tym bardziej że coraz częściej słychać, iż Europa wraca do wyścigu AI.
Czy model Basal da się uruchomić na własnym komputerze
I tak, i nie. Wyróżniony w rankingu wariant ultra liczy 31 mld parametrów i wymaga sprzętu znacznie bardziej zaawansowanego niż konsumencka karta graficzna, której używamy na co dzień np. do grania. Przy takiej liczbie parametrów potrzebujemy już dobrych kilkudziesięciu gigabajtów pamięci.
Rodzina Basal obejmuje jednak mniejsze modele. Najmniejsze mają od 1,5 do 4,5 mld parametrów i są dostępne także w formatach przeznaczonych do zwykłych komputerów i Maców.
Mniejszy model oczywiście nie da tych samych osiągów, ale nadal warto spróbować – zwłaszcza jeśli marzy nam się własne AI na domowym komputerze. Być może znajdzie się też jakiś use case dla firmy, choćby jako odpowiedź na zjawisko, jakim jest shadow AI w firmie. Tym bardziej że przy obecnych możliwościach asystentów AI nie musimy mieć zaawansowanych umiejętności, aby uruchomić taki model. Wystarczy kilka instrukcji, a dostaniemy jasną rozpiskę, jak to zrobić – a może nawet agent zrobi to za nas (oczywiście sprzętu jeszcze za nas nie kupi i nie zamontuje).
