La frontière de l’IA physique ne se limite pas à un entrepôt. C’est une tour Jenga.
À San Leandro, en Californie, à l’intérieur d’une unité industrielle quelconque occupée par Encord, le jeu devient de plus en plus difficile. Andrew Ceja ne fait pas que jouer. Il entraîne une machine.
Ceja est ce qu’Encord appelle un « pilote ». En clair, c’est un entraîneur de robotique. Il porte un casque équipé d’une caméra pour capturer son point de vue. Mais il y a autre chose attaché à sa tête. Des capteurs mesurant ses ondes cérébrales.
Alors qu’il retire des blocs de bois d’une pile chancelante, le système enregistre bien plus que de simples données visuelles. Cela capture son intention. Sa concentration. Le moment exact de l’erreur.
Ce n’est pas de la science-fiction. C’est le dernier pari dans la course à la construction de robots humanoïdes fonctionnels.
Pourquoi les données physiques de l’IA sont plus difficiles que le texte
L’IA générative a révolutionné les chatbots car les données étaient partout. Vous pourriez récupérer des milliards de fichiers texte sur Internet. Cela ne coûte presque rien.
L’IA physique ne fonctionne pas de cette façon.
Les données de formation des robots n’existent tout simplement pas à l’échelle nécessaire. Pas encore.
Vineeth Velmurugan le sait bien. Il dirige l’apprentissage des robots chez Encord. Avant cela, il travaillait au laboratoire de robotique d’OpenAI et de Berkshire Grey. Il a rejoint Encord parce que l’ancien modèle était tombé en panne.
“Les données n’existent tout simplement pas”, a-t-il déclaré.
Les entreprises qui créent des outils de vision industrielle servent uniquement à gérer les données. Maintenant, ils doivent y arriver. L’apprentissage de bout en bout nécessite des données de manipulation réelles. Vidéo seule ? Pas assez de fidélité. Les voitures autonomes collectent leurs propres données, bien sûr. Mais mettre cela à l’échelle est un cauchemar.
Velmurugan a un chiffre qui devrait effrayer quiconque tente de reproduire l’économie LLM pour les robots. Vous avez besoin d’un ensemble de données environ cinq fois plus grand que l’ensemble de la vidéothèque YouTube.
Comment construire cela sans mettre le laboratoire en faillite ?
Vous le fabriquez. Et vous l’étiquetez avec les neurosciences.
Encord et Zander Labs : mesurer l’esprit
Le casque que porte Ceja provient de Zander Labs. C’est une startup allemande de neurosciences. Ils ne se contentent pas de vous regarder bouger. Ils mesurent l’activité cérébrale pour en déduire les états mentaux.
Surprendre. Erreur. Intention.
Il s’agit d’un essai entre Encord et Zander. L’objectif est spécifique : créer un premier ensemble de données étiquetées sur les ondes cérébrales. Exécutez-le via des modèles robotiques clients. Voyez si les performances s’améliorent réellement. Si c’est le cas, ils l’intensifient.
Si ce n’est pas le cas, ils pivotent.
Lukas Gehrke, neuroscientifique à Zander qui supervise les travaux, en voit immédiatement la valeur pratique. L’intensité de l’activité cérébrale au cours d’une tâche indique aux modélistes quand le robot a besoin d’aide. Il marque les moments de « gros effort ».
C’est ce que Vineeth Velmurugan appelle la « pointe du saignement ».
C’est aussi cher.
L’économie des « données de l’ego indésirables »
La plupart des entreprises qui construisent des cerveaux de robots se tournent vers des données « égocentriques ». Les travailleurs portent des caméras. Ils effectuent des tâches. Les robots regardent.
Encord fait ça aussi. Ils ont des pilotes dans des usines du monde entier. Mais à San Leandro, ils expérimentent.
À une station, Sofia Infante manœuvre des bras robotisés pour brancher et débrancher les câbles Ethernet des racks de serveurs. Les opérateurs de centres de données rêvent d’automatiser cela. Si seulement les robots avaient la précision.
Je l’ai essayé moi-même.
C’est dur.
Les pinces des robots n’ont pas les degrés de liberté des doigts humains. Ils sont maladroits. Infante a de la dextérité. Son cerveau possède les micro-ajustements. Le robot doit apprendre ces ajustements. C’est l’écart.
Une autre nouvelle modalité implique des capteurs sur l’avant-bras. Ils détectent les signaux électriques dans les muscles. Pourquoi? Parce que les vidéos de mains humaines manquent souvent la main elle-même. Des obstructions surviennent. Limites d’angle.
Les capteurs du bras comblent les lacunes. Ils aident à créer une carte 3D de la position des mains même lorsque la caméra ne peut pas la voir.
Mais voici le problème avec l’économie.
Encord annote leurs ensembles de données. “La main droite serre le boulon.” “La main gauche verse du café.” Annotation dense.
Velmurugan affirme que ce niveau de détail vaut 100 fois plus que les « données de l’ego inutiles » pour la formation de tâches spécifiques. Cela ne coûte que 20 fois plus cher à fabriquer. Sur le papier, c’est un bon échange.
Vingt fois plus, c’est toujours de l’argent réel.
Les créateurs de LLM ont récupéré le texte pour quelques centimes. Les données physiques nécessitent une fabrication. Cela nécessite du travail humain. Cela nécessite du matériel de neurosciences. L’économie est fondamentalement brisée par rapport aux logiciels.
Qui achète ces données ?
Encord travaille avec les principales entreprises de robotique. Velmurugan ne peut pas les nommer. Mais ils demandent des ensembles de données sur les compétences spécifiques.
Réglage fin.
Dans les installations d’Encord, des plates-formes leader-suiveur fonctionnent. Bras robotiques jumelés. On se déplace à la vitesse des opérateurs humains. L’autre l’imite.
Les tâches consistent à verser du café sans ballottement. Empiler des jetons de poker. Trier les fausses fleurs. Livres. Légumes en plastique. Bacs à litière pour chat. Sacs de fil.
Chaque entreprise humanoïde veut ces pièces.
Velmurugan voit tout cela depuis son point d’observation. Il siège entre de nombreuses entreprises de robotique. Il sait ce qui fonctionne. Il sait ce qui ne va pas. Les startups et les laboratoires pionniers tentent de résoudre les mêmes problèmes.
Quelles techniques de données gagnent du terrain ? Lesquels pétillent ?
Encord repère les gagnants avant même que les clients ne réalisent qu’ils perdent.
Cela occupe les pilotes.
Ceja, Infante, ce ne sont pas que des annotateurs. Ce sont les éléments de base. Ils travaillaient auparavant chez Scale, une autre société d’annotation de données. Maintenant, ils sont là, arrachant les blocs des tours, branchant les câbles, versant du café.
Ceja entretenait un trieur de déchets robotisé dans une entreprise de gestion des déchets. La technologie lui permettait de sortir du tri manuel.
Maintenant, il apprend aux machines à penser à empiler des blocs.
“C’est quelque chose de nouveau chaque jour”, a-t-il déclaré.
La tour est tombée. Encore.
Les capteurs l’ont enregistré. Le modèle a appris.
Mais la soif de données ne s’arrête pas. Cela grandit. Cinq fois la taille de YouTube. Ce n’est pas un problème à court terme. C’est un défi industriel.
Le marquage des ondes cérébrales sera-t-il la clé ? Ou simplement une autre pile de capteurs coûteuse qui ralentit la production ?
Nous ne le saurons pas tant que les modèles ne fonctionneront pas.
