Fizyczny front rozwoju sztucznej inteligencji to nie tylko magazyn. To wieża Jenga zbudowana z drewnianych klocków.
W przestrzeni przemysłowej w San Laindo w Kalifornii, zajmowanej przez Encord, stawka jest wysoka. Andrew Seiya nie tylko gra. Szkoli maszynę.
Seiya to tak zwany „pilot” w terminologii Encord. Krótko mówiąc, jest instruktorem robotyki. Nosi hełm z kamerą na głowie, przekazując swój punkt widzenia. Ale do hełmu przymocowane jest jeszcze jedno urządzenie: czujniki mierzące fale mózgowe.
Kiedy wyciąga drewniane klocki z chwiejnej wieży, system rejestruje coś więcej niż tylko dane wizualne. Rejestruje jego zamiary. Jego koncentracja. Dokładny moment błędu.
To nie jest science-fiction. To najnowszy krok w wyścigu o stworzenie funkcjonalnych robotów humanoidalnych.
Dlaczego dane dla fizycznej sztucznej inteligencji są trudniejsze niż tekst
Generatywna sztuczna inteligencja zrewolucjonizowała chatboty, ponieważ dane tekstowe były wszędzie. Można było „przeanalizować” miliardy plików tekstowych z Internetu. Kosztowało to ani grosza.
Sztuczna inteligencja fizyki działa inaczej.
Dane szkoleniowe dla robotów po prostu nie istnieją w wymaganej skali. Na razie.
Vinith Velmurugan wie o tym z pierwszej ręki. Prowadzi działalność szkoleniową w dziedzinie robotyki w firmie Encord. Wcześniej pracował w laboratorium robotyki OpenAI oraz w Berkshire Gray. Przyszedł do Encord, ponieważ stary model gromadzenia danych już nie działał.
„Danych po prostu nie ma” – stwierdził.
Firmy budujące narzędzia widzenia maszynowego służące do prostego zarządzania danymi. Teraz muszą je stworzyć. Szkolenie od początku do końca wymaga rzeczywistych danych manipulacyjnych. Jeden film nie wystarczy do uzyskania wymaganej dokładności. Tak, samochody autonomiczne zbierają własne dane. Skalowanie tego procesu to jednak prawdziwy koszmar.
Velmurugan przytacza liczbę, która powinna przestraszyć każdego, kto próbuje zastosować ekonomię dużych modeli językowych (LLM) w robotach. Potrzebujesz zestawu danych około pięciokrotnie większego niż całe archiwum wideo YouTube.
Jak zebrać takie wolumeny, nie doprowadzając do bankructwa laboratorium?
Trzeba je wyprodukować. I oznacz je metodami neuronauki.
Laboratoria Encord i Zander: Wymiar umysłu
Hełm, który nosi Seiya, pochodzi z Zander Labs. To niemiecki startup z dziedziny neuronauki. Oni nie tylko obserwują twoje ruchy. Mierzą aktywność mózgu w celu określenia stanu psychicznego.
Zdziwienie. Błąd. Zamiar.
Jest to projekt pilotażowy pomiędzy Encord i Zander. Cel jest konkretny: stworzyć początkowy zbiór danych z etykietowaniem fal mózgowych. Przetestuj to na modelach robotyki klientów. Sprawdź, czy wydajność faktycznie się poprawiła. Jeśli tak, zwiększ skalę. Jeśli nie, zmień swoje podejście.
Lukas Goerke, neurolog w Zander, który nadzoruje te prace, od razu dostrzega wartość praktyczną. Intensywność aktywności mózgu podczas wykonywania zadania informuje modelarzy, kiedy robot potrzebuje pomocy. Zauważa momenty „dużego wysiłku”.
To jest to, co Velmurugan nazywa „najnowocześniejszą technologią”.
To też jest drogie.
Ekonomia pierwszoosobowych śmieciowych danych
Większość firm budujących mózgi robotów opiera się na danych egocentrycznych. Pracownicy zakładają kamery. Wykonaj zadania. Roboty patrzą.
Encord też to robi. Mają pilotów w fabrykach na całym świecie. Ale w San Laindo eksperymentują.
Na jednej stacji Sofia Infante steruje ramionami robotów, podłączając i odłączając kable Ethernet od szaf serwerowych. Operatorzy centrów danych marzą o automatyzacji tego procesu. Gdyby tylko roboty miały taką precyzję.
Sam tego próbowałem.
To skomplikowane.
Chwytaki robotyczne nie mają takiej samej swobody ruchu jak ludzkie palce. Są niezdarni. Infante ma zwinność. Jej mózg ma mikroregulacje. Robot musi nauczyć się tych regulacji. Tutaj leży luka.
Inna nowa metoda wykorzystuje czujniki na przedramieniu. Rejestrują sygnały elektryczne w mięśniach. Po co? Ponieważ wideo przedstawiające dłonie danej osoby często nie pokazuje samych dłoni. Przeszkody stają na drodze. Kąt widzenia jest ograniczony.
Czujniki na dłoni wychwytują te luki. Pomagają stworzyć trójwymiarową mapę położenia dłoni, nawet jeśli kamera jej nie widzi.
Ale tu jest problem z ekonomią.
Encord szczegółowo opisuje swoje zbiory danych: „Prawa ręka dokręca śrubę”, „Lewa ręka nalewa kawę”. Gęste, szczegółowe oznaczenia.
Velmurugan argumentuje, że taki poziom szczegółowości jest 100 razy bardziej wartościowy w przypadku szkolenia zadaniowego niż „śmieciowe dane pierwszoosobowe”. 生产成本 tylko 20 razy wyższe. Na papierze to dobry interes.
Ale 20 razy więcej to wciąż prawdziwe pieniądze.
Twórcy LM zebrali tekst za grosze. Dane fizyczne wymagają produkcji. Wymagają pracy ludzkiej. Wymagają sprzętu do neurologii. Ekonomia jest zasadniczo zepsuta w porównaniu z oprogramowaniem.
Kto kupuje te dane?
Encord współpracuje z wiodącymi firmami zajmującymi się robotyką. Velmurugan nie potrafi podać ich imion. Proszą jednak o konkretne zestawy danych dotyczących umiejętności.
Do dodatkowego szkolenia modeli.
Placówka Encord obsługuje systemy lider-podążający. Sparowane ramiona robota. Porusza się z prędkością ludzkiego operatora. Druga naśladuje jej ruchy.
Wyzwania obejmują nalewanie kawy bez rozlewania. Układanie żetonów pokerowych. Sortowanie sztucznych kwiatów. Książki Plastikowe warzywa. Tace na kuwetę dla kota. Worki z drutami.
Każda firma humanoidalna chce takie zestawy.
Velmurugan widzi to wszystko ze swojego miejsca. Znajduje się pomiędzy wieloma firmami zajmującymi się robotyką. On wie, co działa. Wie, że to nie działa. Zarówno startupy, jak i zaawansowane laboratoria próbują rozwiązać te same problemy.
Jakie metody pracy z danymi się zakorzenią? Które znikną?
Encord dostrzega zwycięzców, zanim klienci zorientują się, że przegrywają.
Dzięki temu piloci są zajęci.
Seiya, Infante – to nie tylko komentatorzy. Są elementami konstrukcyjnymi. Wcześniej pracowali w Scale, innej firmie zajmującej się etykietowaniem danych. Teraz już są: wyciągają klocki z wież, podłączają kable, nalewają kawę.
Seiya obsługiwała wcześniej robota sortującego śmieci dla firmy zajmującej się recyklingiem odpadów. Technologia stała się jego przepustką z pracy ręcznej do zautomatyzowanej.
Teraz uczy maszyny myśleć o układaniu bloków.
„Każdego dnia pojawia się coś nowego” – powiedział.
Wieża się zawaliła. Jeszcze raz.
Czujniki to zarejestrowały. Modelka przeszła szkolenie.
Ale głód danych nie znika. To rośnie. Pięć razy więcej niż YouTube. Nie jest to problem na najbliższą przyszłość. To wyzwanie przemysłowe.
Czy etykietowanie fal mózgowych będzie kluczem? A może to po prostu kolejny kosztowny zestaw czujników spowalniający produkcję?
Nie dowiemy się tego, dopóki modele nie zaczną działać.
