Фронт розробки фізичного ІІ – це не просто склад. Це башта із дерев’яних блоків «Дженга».
У промисловому приміщенні в Сан-Лейндо (Каліфорнія), яке займає компанія Encord, ставки підвищуються. Ендрю Сейя не просто грає. Він навчає машину.
Сейя – так званий “пілот” за термінологією Encord. Простіше кажучи, він інструктор із робототехніки. На голові у нього шолом із камерою, що передає його точку зору. Але до шолома також прикріплений інший пристрій: датчики, що вимірюють його мозкові хвилі.
Поки він витягує дерев’яні бруски з хиткої вежі, система записує не лише візуальні дані. Вона фіксує його наміри. Його концентрацію. Точний момент помилки.
Це не наукова фантастика. Це остання ставка у гонці за створення функціональних гуманоїдних роботів.
Чому дані для фізичного ІІ складніші за текст
Генеративний ІІ зробив революцію в чат-ботах, тому що текстові дані були всюди. Можна було спарсувати мільярди текстових файлів з інтернету. Це коштувало копійки.
Фізичний ІІ працює інакше.
Тренувальні дані для роботів просто не існують у необхідному масштабі. Поки що.
Вінітх Велмуруган знає це не з чуток. Він керує напрямом навчання роботів Encord. До цього він працював у лабораторії робототехніки OpenAI та в Berkshire Grey. В Encord він прийшов, тому що стара модель збору даних перестала працювати.
“Даних просто не існує”, – сказав він.
Компанії, що створюють інструменти машинного зору, раніше просто управляли даними. Тепер їм доводиться створювати їх. Навчання від початку до кінця вимагає даних про реальні маніпуляції. Одного відео недостатньо для потрібної точності. Так, автомобілі з автопілотом збирають власні дані. Але масштабувати цей процес — справжній жах.
Велмуруган наводить цифру, яка має налякати будь-кого, хто намагається запозичити економіку великих мовних моделей (LLM) для роботів. Вам потрібен набір даних, що приблизно в п’ять разів перевищує весь відеоархів YouTube.
Як зібрати такі обсяги, не збанкрутувавши лабораторію?
Їх треба зробити. І розмічати їх, використовуючи методи нейробіології.
Encord і Zander Labs: Вимір розуму
Шолом, який має Сейя, поставляється компанією Zander Labs. Це німецький стартап у галузі нейробіології. Вони не просто спостерігають ваші рухи. Вони вимірюють активність мозку, щоби визначити ментальний стан.
Здивування. Помилка. Намір.
Це пілотний проект між Encord та Zander. Мета специфічна: створити початковий набір даних із маркуванням мозкових хвиль. Протестувати його на моделях робототехніки клієнтів. Побачити, чи справді покращиться продуктивність. Якщо так – масштабувати. Якщо ні – змінити підхід.
Лукас Герке, нейрофізіолог в Zander, який займається цією роботою, відразу бачить практичну цінність. Інтенсивність мозкової активності під час завдання повідомляє творцям моделей, коли роботу потрібна допомога. Вона наголошує на моментах «високих зусиль».
Саме це Велмуруган називає «найпереднішим краєм» технологій.
Це також дорого.
Економіка «сміттєвих даних від першої особи»
Більшість компаній, які створюють «мозки» для роботів, покладаються на егоцентричні дані. Робітники надягають камери. Виконують завдання. Роботи спостерігають.
Encord також так робить. Вони мають пілоти на фабриках по всьому світу. Але у Сан-Лейндо вони експериментують.
На одній із станцій Софія Інфанте керує роботизованими руками, підключаючи та відключаючи Ethernet-кабелі від серверних стійок. Оператори датацентрів мріють автоматизувати цей процес. Якби тільки робота була така точність.
Я спробував зробити це сам.
Це складно.
Роботизовані захоплення не мають такої ж свободи рухів, як людські пальці. Вони незграбні. Інфанте має спритність. У її мозку є мікрорегулювання. Роботу потрібно навчитися цим регулюванням. Ось у цьому й полягає розрив.
Інший новий метод використовує датчики передпліччя. Вони фіксують електричні сигнали у м’язах. Навіщо? Тому що відео рук людини часто не показує саму руку. Заважають перешкоди. Обмежений кут огляду.
Датчики на рукотворі спрацьовують ці прогалини. Вони допомагають створити 3D-карту положення руки навіть тоді, коли її камера не бачить.
Але проблема з економікою.
Encord розмічає свої набори даних докладно: “Права рука затягує болт”, “Ліва рука наливає каву”. Густа, детальна розмітка.
Велмуруган стверджує, що такий рівень деталізації в 100 разів цінніший для тренування специфічних завдань, ніж «сміттєві дані від першої особи». 生产成本 лише в 20 разів вище. На папері це вигідна угода.
Але в 20 разів більше — це реальні гроші.
Творці LM збирали текст за копійки. Фізичні дані потребують виробництва. Вони потребують людської праці. Вони потребують обладнання для нейробіології. Економіка фундаментально порушена проти програмним забезпеченням.
Хто купує ці дані?
Encord працює з провідними робототехнічними компаніями. Велмуруган не може назвати їхні імена. Але вони вимагають специфічні набори даних за навичками.
Для донавчання моделей.
На об’єкті Encord працюють системи на кшталт «лідер-послідовник». Парні роботизовані руки. Одна рухається із швидкістю людини-оператора. Інша імітує її рухи.
Завдання включають наливання кави без проливання. Складання покерних фішок. Сортування штучних кольорів. книг. Пластикові овочі. Лотки для котячого туалету. Мішки з проводами.
Кожна компанія, яка створює гуманоїдів, хоче отримати ці набори.
Велмуруган бачить усе це зі свого місця. Він знаходиться між багатьма робототехнічними компаніями. Він знає, що працює. Він знає, що не працює. Як стартапи, так і передові лабораторії намагаються вирішити ті самі проблеми.
Які методи роботи із даними приживуться? А які зникнуть?
Encord зауважує переможців ще до того, як клієнти усвідомлюють, що програють.
Це тримає пілотів зайнятими.
Сейя, Інфанте – вони не просто анотатори. Вони будівельні блоки. Раніше вони працювали в Scale, іншій компанії з розмітки даних. Тепер вони тут: витягують блоки із веж, підключають кабелі, наливають каву.
Раніше Сейя обслуговував робота-сортувальник сміття у сміттєпереробній компанії. Технологія стала для нього квитком із ручної праці до автоматизованого.
Тепер він вчить машини думати про складання блоків.
«Щодня щось нове», — сказав він.
Вежа впала. Вкотре.
Датчики зафіксували це. Модель навчилася.
Але голод на дані не зникає. Він росте. Вп’ятеро більше, ніж YouTube. Це не проблема найближчого майбутнього. Це промисловий виклик.
Чи стане маркування мозкових хвиль ключем? Чи це просто ще один дорогий набір датчиків, що уповільнює виробництво?
Ми не дізнаємося про це, поки моделі дійсно не запрацюють.
