Читающий мысли ИИ? Неинвазивный искусственный интеллект может переводить мысли в текс

Австралийские исследователи смогли разработать новый неинвазивный искусственный интеллект, способный переводить беззвучные мысли в текст. Более того, для этого ему достаточно надеть плотно прилегающую шапочку.

Неинвазивный искусственный интеллект, читающий мысли

Исследователи, стоящие за разработкой, известной как DeWaves, протестировали процесс на данных, полученных от более чем двух десятков испытуемых.

В ходе процедуры участники молча читали, надев шапочку. Этот колпачок фиксировал их мозговые волны с помощью ЭЭГ, или электроэнцефалограммы. Затем они были расшифрованы в текст. При дальнейшем совершенствовании технология может помочь пациентам с инсультом и параличом в общении. Это может облегчить управление машинами, такими как роботы или бионические руки.

Чин-Тенг Лин, специалист по информатике из Сиднейского технологического университета (UTS), объясняет, что данное исследование является новаторским, когда речь идет о переводе необработанных волн ЭЭГ непосредственно в язык. Это знаменует собой важный прорыв в данной области.

Хотя в ходе эксперимента DeWave удалось достичь точности более 40 % только по одному из двух наборов метрик, это, тем не менее, на 3 % лучше, чем более ранние переводы мыслей с помощью ЭЭГ. Исследователи намерены повысить уровень точности, пока он не достигнет примерно 90 %, что позволит сравняться с обычными методами и программным обеспечением для языкового перевода или распознавания речи.

Перевод мыслей

Другие способы перевода мозговых волн в язык предполагают инвазивные хирургические методы, включающие вживление электродов или использование дорогостоящих и громоздких аппаратов МРТ. Это делает их практически непрактичными для регулярного и ежедневного использования. Как правило, для перевода сигналов мозга в слова требуется отслеживание глаз.

Когда глаза человека фокусируются на одном слове, а затем переходят на другое, можно предположить, что мозг сделал небольшой перерыв между обработкой отдельных слов. Перевести волны ЭЭГ в слова без помощи слежения за глазами сложнее.

Мозговые волны разных людей не всегда одинаково отображают паузы в словах. Это затрудняет обучение ИИ интерпретации индивидуальных мыслей.

При хорошей тренировке кодировщик DeWave переводит волны ЭЭГ в код, который можно сопоставить с определенными словами. Это происходит на основе их близости к записям в кодовой книге DeWave. Лин объясняет, что технология впервые включает в себя дискретные методы кодирования, которые являются дискретными в процессе перевода мозга в текст. Это позволяет использовать инновационный нейронный подход к декодированию.

Лин добавляет, что интеграция больших языковых моделей также открывает новые двери в мир ИИ и нейронаук.

Команда использовала языковые модели, сочетающие в себе систему, известную как BERT, и GPT. Затем они протестировали ее на базе данных людей, следящих за глазами и записывающих мозговые волны во время чтения текста. Это помогло технологии сопоставить паттерны мозговых волн со словами. Затем технология была обучена с помощью открытой языковой модели, которая, по сути, составляет предложения из слов.

DeWave показал наилучшие результаты при переводе глаголов. Однако когда речь идет о существительных, при переводе обычно используются слова с одинаковым значением, а не точный перевод, бюро переводов.

Ицинь Дуань, первый автор исследования и специалист по информатике из UTS, объясняет, что, по их мнению, это связано с тем, что мозг имеет семантический способ обработки слов, при котором похожие слова могут приводить к схожим паттернам мозговых волн. Хотя технология сталкивается с трудностями, с ее помощью удается получать значимые результаты.

Тест с относительно большой выборкой учитывает тот факт, что распределение волн ЭЭГ у отдельных людей может сильно различаться. Это позволяет предположить, что исследование может быть более надежным по сравнению с более ранними технологиями, в которых использовались только небольшие выборки.