Як працюють навушники-перекладачі та що впливає на точність
Навушники-перекладачі розпізнають мовлення, перекладають його та відтворюють синтезованим голосом, але мають обмеження точності й швидкості.
Навушники з функцією перекладу розпізнають мовлення співрозмовника, перетворюють його на текст, перекладають і відтворюють результат синтезованим голосом. Як повідомляє Engadget, весь цей процес за сприятливих умов може займати кілька секунд, однак затримки та помилки здатні ускладнювати живу розмову.
У деяких моделях користувачеві достатньо підключити навушники до смартфона й обрати мови у застосунку для перекладу. Інші пристрої передбачають, що один навушник передають іншому співрозмовнику.
Три етапи перекладу
Спочатку мікрофони вловлюють голос. Для відокремлення мовлення від фонового шуму виробники застосовують різні рішення: зокрема, Soundcore Liberty 5 Pro використовує вісім мікрофонів, два датчики кісткової провідності та спеціалізовану модель штучного інтелекту. Інші моделі можуть покладатися на подвійні або спрямовані мікрофони.
Далі аудіо обробляється на підключеному телефоні, у хмарі або одночасно в обох середовищах — залежно від бренду. Розпізнавання мовлення перетворює звук на текст, після чого система перекладає його цільовою мовою. Для інтерпретації значення й контексту речення використовують обробку природної мови, а окремі пристрої також залучають великі мовні моделі.
На завершальному етапі система створює перекладене аудіо синтезованим голосом. Воно надходить на телефон, який передає його через Bluetooth до навушників.
Обмеження офлайн-режиму й точності
Частина пристроїв, зокрема Apple AirPods Pro та Galaxy Buds Pro, здатна виконувати весь процес перекладу офлайн. Інші, як-от Google Pixel Buds, потребують інтернет-з'єднання для хмарної обробки. Офлайн-функції також можуть бути обмеженими: Timekettle пропонує 14 мовних пар для роботи без мережі, причому перші дві доступні безкоштовно, а кожна наступна коштує 10 доларів.
Заявлена виробниками точність у 95% або 99% можлива лише за майже ідеальних умов. На якість перекладу впливають нечітка вимова, діалекти, сленг, омоніми, ідіоми та сильний фоновий шум. Помилки можуть траплятися частіше для менш поширених мовних пар, а затримка між фразою та перекладом здатна зробити діалог повільнішим.
