ChatGPT завжди був швидким. Він добре обробляє текст зі швидкістю машини, але раніше існувала «вузька шийка» — бар’єр, що викликає тертя. Голосове введення підкорялося жорсткому ритму: ви говорили, ІІ робив паузу, прислухався, обчислював і потім відповідав. Це нагадувало тенісний матч, в якому один гравець був значно слабшим і мав дочекатися, поки м’яч удариться об стіну, перш ніж вибрати наступну точку на майданчику.
Більше цього немає.
Компанія OpenAI випустила дві нові голосові архітектури: GPT-Live-1 та легшу версію GPT-Live-1 mini. Ці моделі вже доступні для всіх. Безкоштовним користувачам також. Передплатникам тим паче. Відбувається фундаментальне зрушення у тому, як модель сприймає час, чи, по крайнього заходу, у тому, як вона думає про нього.
Архітектура одночасного прослуховування та говоріння
Головна новинка — це не просто покращений синтез мови (хоча він справді став кращим). Тепер мова звучить плавніше і природніше для розмови. Атті Елетті (Atty Eleti), керівник продукту ChatGPT за голосом, повідомив журналістам, що тепер аудіо імітує ритміку людської мови. З’явилися заповнювачі мови – ті самі “е-е” і “мм-м”, які сигналізують про час на роздуми, а не про замішання.
Реальним же «двигуном» під капотом є те, що в OpenAI називають безперервною взаємодією.
Ця фреймворк усуває обмеження послідовної зміни ходів. ІІ тепер обробляє вхідний аудіопотік * у той самий час *, коли генерує відповідь. Він може «слухати» та «говорити» одночасно. Це вирішує найдратівливішу проблему затримки в цифрових помічниках – порожню паузу між закінченням вашої фрази та початком відповіді бота.
Це саме так, як взаємодіють люди. Ми продовжуємо розмову, доки у фоновому режимі триває обробка думок». – Атті Елетті
Вам більше не потрібно чекати на тишу. Ви можете перебивати. Затримка мінімізована, хоч і не усунена повністю. ІІ вловлює вашу нову думку, навіть завершуючи попередню пропозицію.
Переклад у реальному часі без пауз
Ця архітектура змінює сценарії використання живого перекладу. Раніше доводилося вимовляти повну пропозицію англійською, натискати на паузу, чекати, а потім чути переклад іспанською. Це вбивало природний перебіг міжнародної розмови.
Тепер? Ви можете говорити англійською мовою. ChatGPT слухає вас, поки ви говорите. Він перекладає та вимовляє іспанську версію майже миттєво. Затримка скорочена до мінімальної механічної межі. Те ж саме стосується й інших мов: хінді та багатьох інших. Модель безперервної взаємодії обробляє потік. Ви не зупиняєтеся та не починаєте заново. Ви просто кажете.
Це працює так:
- Введення: Користувач говорить вихідною мовою.
- Обробка: Модель аналізує аудіопотік у реальному часі.
- Висновок: ІІ миттєво генерує аудіо цільовою мовою.
- Цикл: Процес триває, поки каже користувач.
Для мандрівників або тих, хто приймає дзвінки, це відчувається менш як використання програмного забезпечення та менш громіздко.
делегування складних розумових процесів без втрати нитки розмови
У «думок вголос» одночасно з розмовою є прихована ціна. Ви втрачаєте нитку розповіді або ваш співрозмовник нудьгує.
GPT-Live використовує нову систему делегування для завдань, що потребують обчислень. Якщо користувач ставить складне запитання — те, що вимагає глибокого пошуку або багатоетапного висновку, — модель може змінити ці обчислення. Вона не перестає говорити. Вона не зупиняється, щоб подумати протягом десяти секунд, вдивляючись у безодню своїх нейронних мереж.
Кундан Кумар, керівник досліджень, пояснює, що GPT-Live може перевантажувати складні логічні завдання на більш потужні серверні моделі. Зокрема, він відзначає можливість делегування моделям з вищими можливостями міркування. Вони працюють паралельно. Тим часом голосовий інтерфейс підтримує розмову. Він заповнює паузу природними наповнювачами або показує, що все ще слухає. Коли складна відповідь готова, він плавно (так, це те, що написано в маркетинговій копії) вплітає її в словесну відповідь.
“Коли GPT-Live потрібно думати, він делегує завдання… тому GPT-Live продовжує спілкуватися з користувачем.”
Однак найкращі відповіді не завжди потрібно вимовляти вголос. Якщо відповіддю є прогноз погоди, спортивний результат або графік, модель може перемикати режими. Натомість відображатиметься графіка. Навіщо набридати користувачеві «температурою сімдесят два градуси», коли можна показати йому хмарний покрив? Модель вибирає формат на основі даних.
Доступність, конфіденційність і контроль
Ці моделі вже є в наявності. Не в четвер. Жодних тизерних листів. Вони вже тут. Оновлено програми для мобільних пристроїв. Веб-інтерфейси оновлені.
Якщо ви не бачите опції, зачекайте день. Максимум два. Розгортання не відбувається миттєво в усьому світі, навіть якщо вони стверджують, що охоплення найширше. І про всяк випадок: цей випуск є окремим від очікуваного випуску GPT-5.6 пізніше цього тижня. Не плутайте рівень голосу з оновленнями основного інтелекту, хоча вони, ймовірно, мають спільні компоненти серверної частини.
Конфіденційність голосу та відмова від навчання
Тут OpenAI використовує інший підхід до питань конфіденційності. Використання голосового режиму автоматично видаляє користувачів із тренувальних даних. Ваш голос не використовується для навчання наступної ітерації моделі.
Аудіозаписи зберігаються 30 днів. Це забезпечує контекст для вашого поточного сеансу розмови. Якщо ви перервете роботу бота на десять хвилин, щоб закінчити іншу думку, і повернетесь до неї пізніше ввечері, він дізнається, хто ви. Або, точніше, те, про що ви говорили. Ці 30-денні буфери можна видалити. Користувачі можуть стерти свою аудіоісторію, якщо їх турбує цифровий слух.
Помічник тепер також підтримує спеціальний режим прослуховування. Активуйте його за назвою. Він чекає. Слухає. Залишається в активному стані прослуховування, доки його не вимкнуть вручну. Він не «засинає» за командою. Це важлива відмінність, якщо вам потрібно поговорити двадцять хвилин наодинці і потрібен неосудливий, завжди активний співрозмовник.
Це справді природно?
Ви можете помітити паузи. Вони не такі ідеальні, як природні коливання реальної людини, які часто диктуються
