De grens van fysieke AI is niet alleen een magazijn. Het is een Jenga-toren.
In San Leandro, Californië, in een onopvallende industriële eenheid bezet door Encord, wordt het spel steeds zwaarder. Andrew Ceja speelt niet alleen. Hij traint een machine.
Ceja is wat Encord een ‘piloot’ noemt. In gewoon Engels: hij is een robottrainer. Hij draagt een hoofdtelefoon met een camera om zijn perspectief vast te leggen. Maar er zit nog iets anders op zijn hoofd. Sensoren die zijn hersengolven meten.
Terwijl hij houten blokken uit een wankelende stapel trekt, registreert het systeem meer dan alleen de visuele gegevens. Het geeft zijn bedoeling weer. Zijn focus. Het exacte moment van de fout.
Dit is geen sciencefiction. Het is de nieuwste weddenschap in de race om functionele mensachtige robots te bouwen.
Waarom fysieke AI-gegevens moeilijker zijn dan tekst
Generatieve AI bracht een revolutie teweeg in chatbots omdat de gegevens overal aanwezig waren. Je zou miljarden tekstbestanden van internet kunnen schrapen. Het kostte bijna niets.
Fysieke AI werkt niet op die manier.
De trainingsgegevens voor robots bestaan simpelweg niet op de benodigde schaal. Nog niet.
Vineeth Velmurugan weet dit goed. Hij leidt robotonderwijs bij Encord. Daarvoor was hij bij OpenAI’s robotica-lab en Berkshire Gray. Hij sloot zich aan bij Encord omdat het oude model kapot ging.
“De gegevens bestaan eenvoudigweg niet”, zei hij.
Bedrijven die machinevisietools bouwen die alleen maar worden gebruikt om gegevens te beheren. Nu moeten ze het halen. End-to-end leren vereist manipulatiegegevens uit de echte wereld. Alleen video? Niet genoeg trouw. Zelfrijdende auto’s verzamelen uiteraard hun eigen gegevens. Maar dat opschalen is een nachtmerrie.
Velmurugan heeft een getal dat iedereen zou moeten afschrikken die probeert de LLM-economie voor robots te repliceren. Je hebt een dataset nodig die ongeveer vijf keer zo groot is als de volledige videobibliotheek van YouTube.
Hoe bouw je dat zonder het lab failliet te laten gaan?
Jij vervaardigt het. En jij tagt het met neurowetenschappen.
Encord en Zander Labs: het meten van de geest
De headset die Ceja draagt, is afkomstig van Zander Labs. Het is een Duitse neurowetenschappelijke startup. Ze zien je niet alleen bewegen. Ze meten de hersenactiviteit om mentale toestanden af te leiden.
Verrassing. Fout. Intentie.
Dit is een proefrit tussen Encord en Zander. Het doel is specifiek: het creëren van een eerste dataset met hersengolftags. Voer het uit via robotmodellen van klanten. Kijk of de prestaties daadwerkelijk verbeteren. Als dat zo is, schalen ze het op.
Als dat niet het geval is, draaien ze om.
Lukas Gehrke, een neurowetenschapper bij Zander die het werk begeleidt, ziet meteen de praktische waarde. De intensiteit van de hersenactiviteit tijdens een taak vertelt modelbouwers wanneer de robot hulp nodig heeft. Het markeert de ‘high-effort’-momenten.
Dit is wat Vineeth Velmurugan de ‘bloedende rand’ noemt.
Het is ook duur.
De economie van “junky ego-data”
De meeste bedrijven die robothersenen bouwen, wenden zich tot ‘egocentrische’ data. Werknemers dragen camera’s. Ze voeren taken uit. Robots kijken.
Encord doet dit ook. Ze hebben piloten in fabrieken over de hele wereld. Maar in San Leandro experimenteren ze.
Op één station manoeuvreert Sofia Infante robotarmen om Ethernet-kabels aan te sluiten en los te koppelen van serverrekken. Datacenterexploitanten dromen ervan dit te automatiseren. Hadden robots maar de precisie.
Ik heb het zelf geprobeerd.
Het is moeilijk.
Robottangen missen de vrijheidsgraden van menselijke vingers. Ze zijn onhandig. Infante heeft de behendigheid. Haar hersenen hebben de micro-aanpassingen. De robot moet die aanpassingen leren. Dat is de kloof.
Een andere nieuwe modaliteit betreft sensoren op de onderarm. Ze detecteren elektrische signalen in de spieren. Waarom? Omdat video van mensenhanden vaak de hand zelf mist. Obstakels gebeuren. Hoekbeperkingen.
De armsensoren vullen de gaten op. Ze helpen bij het maken van een 3D-kaart van de handpositie, zelfs als de camera deze niet kan zien.
Maar hier zit het probleem met de economie.
Encord annoteert hun datasets. “Rechterhand draait bout vast.” “Linkerhand schenkt koffie in.” Dichte annotatie.
Velmurugan beweert dat dit detailniveau 100 keer meer waard is dan ‘junky ego-gegevens’ voor het trainen van specifieke taken. Het kost slechts 20 keer zoveel om te maken. Op papier is het een goede ruil.
Twintig keer meer is nog steeds echt geld.
LLM-makers schrapten tekst voor centen. Fysieke gegevens vereisen productie. Het vergt menselijke arbeid. Het vereist neurowetenschappelijke uitrusting. De economie is fundamenteel gebroken vergeleken met software.
Wie koopt deze gegevens?
Encord werkt samen met toonaangevende roboticabedrijven. Velmurugan kan ze niet benoemen. Maar ze vragen om specifieke vaardighedendatasets.
Fijnafstemming.
In de Encord-faciliteit draaien leider-volgerinstallaties. Gepaarde robotarmen. Je beweegt met de snelheid van menselijke operators. De ander bootst het na.
Taken zijn onder meer koffie schenken zonder te klotsen. Pokerchips stapelen. Kunstbloemen sorteren. Boeken. Kunststof groenten. Kattenbakjes. Zakken draad.
Elk mensachtig bedrijf wil deze stukken.
Velmurugan ziet het allemaal vanuit zijn uitkijkpunt. Hij zit tussen veel roboticabedrijven. Hij weet wat werkt. Hij weet wat er misgaat. Zowel startups als frontierlabs proberen dezelfde problemen te achterhalen.
Welke datatechnieken winnen terrein? Welke bruisen?
Encord ziet de winnaars voordat de klanten zelfs maar weten dat ze aan het verliezen zijn.
Dat houdt de piloten bezig.
Ceja, Infante, het zijn niet alleen annotators. Zij zijn de bouwstenen. Ze werkten eerder bij Scale, een ander data-annotatiebedrijf. Nu zijn ze hier, blokken uit torens halen, kabels aansluiten, koffie inschenken.
Ceja onderhield vroeger een robotachtige afvalsorteerder bij een afvalverwerkingsbedrijf. Technologie was zijn ticket uit het handmatige sorteren.
Nu leert hij machines hoe ze moeten nadenken over het stapelen van blokken.
‘Elke dag is er iets nieuws’, zei hij.
De toren viel om. Opnieuw.
De sensoren registreerden het. Het model heeft geleerd.
Maar de datahonger houdt niet op. Het groeit. Vijf keer zo groot als YouTube. Dat is geen probleem voor de korte termijn. Het is een industriële uitdaging.
Zal het taggen van hersengolven de sleutel zijn? Of gewoon weer een dure sensorstack die de productie vertraagt?
We zullen het pas weten als de modellen echt werken.
