Сотрудники подразделения Facebook Reality Labs и учёные Калифорнийского университета Сан-Франциско декодировали активность мозга в письменную речь практически без задержек. Подробности исследования опубликованы в журнале Nature Communications. Исследование призвано помочь людям с серьёзными нарушениями речи общаться без задержек.
Учёные использовали интерфейс «мозг — компьютер» (brain — computer interface, BCI), работа над которым ведётся с 2017 года. Эксперимент проводился на добровольцах с эпилепсией одновременно с исследованием причин их заболевания: электроды считывали активность мозга. Пациентам, которые умели говорить, зачитывали девять простых вопросов: темно или светло в комнате, какая музыка им нравится и т. п.). Они, в свою очередь, могли выбрать ответ из 24 возможных вариантов.
Алгоритм, разработанный учёными, сопоставлял паттерны мозговой активности разных участников с озвученными вопросами и ответами. В результате программа стала почти мгновенно определять вопросы и ответы с точностью 76% и 61% соответственно. Точность результата варьировалась от пациента к пациенту.
Исследователи отмечают, что пока у программы есть естественные ограничения — она может ориентироваться только в рамках заложенного в эксперимент словарного запаса. Но учёные рассчитывают, что в будущем технология сможет расшифровывать до 100 слов в минуту с частотой ошибок менее 17%.
Полученные результаты называют прорывом в нейробиологии, потому что «извлечение» слов из мозговой активности почти сопоставимо с естественным разговором.
Facebook планирует с помощью технологии BCI создать неинвазивное устройство, например AR-очки, которое позволит людям печатать текст, не произнося его вслух.
Технология поможет парализованным людям. Сейчас они могут управлять виртуальной клавиатурой с помощью технологий, которые улавливают движение глаз и мышечные сокращения.
