Новий метод синтезації голосу позбавився затримки та озвучує думки користувача в реальному часі.
Новий мозковий імплант дозволив жінці, яка втратила здатність говорити, перетворювати думки на мову в реальному часі, повідомляє Science Alert.
Імплант у голові жінки аналізує активність мозку з інтервалом у 80 мілісекунд і миттєво перетворює її на синтезовану версію голосу.
Головною відмінністю від старих методів є відсутність затримки – більшість існуючих технологій потребують обробки всього тексту перед його озвученням, що спричиняє паузи між формуванням думки та її вокалізацією. Це робило спілкування неприродним і викликало дискомфорт у користувачів. Крім того, попередні методи вимагали від користувачів навчати систему, імітуючи рухи при озвучуванні, що могло ускладнювати їх використання для осіб із серйозними мовленнєвими порушеннями.
Щоб вирішити ці проблеми, дослідники зі США натренували нейронну мережу на основі сенсомоторної активності кори головного мозку 47-річної учасниці. Вона мовчки “промовляла” 100 унікальних речень, використовуючи понад 1000 різних слів.
Голос жінки синтезували на основі записів її попереднього мовлення, що зробило результат більш природним і наближеним до її власного голосу.
Дослідницька група також перевірила ефективність системи на основі 50 фраз із меншого набору слів. В обох випадках середня швидкість перекладених слів за хвилину була майже вдвічі вищою, ніж у попередніх аналогах.
Також було зафіксовано, що система може інтерпретувати нейронні сигнали, що представляють слова, на які вона не була навчена, що відкриває можливості для подальшого покращення технології.
Дослідження опубліковано в науковому журналі Nature Neuroscience.
