Он подсмотрит ваш сон. Генерация видео по активности мозга.

Декодирование данных с фМРТ мозга и реконструкция видео. Источник. 

Умные устройства довольно быстро распространяются и уверенно располагаются в нашем быту, чувствуя себя как дома. Особенно это касается различных голосовых ассистентов. Вы можете попросить их включить сплит-систему, чайник, телевизор на определённом канале, записать вместо вас заметку в календарь о запланированной встрече. А как насчёт команды «покажи мой сон о Карине на прошлой неделе»? 

Пока обыватели считают такое чудо уделом фантастики, учёные продвинулись в его реализации на самом деле. Не то, чтобы эта забава была самоцелью, но наука уже приближается к технологии извлечения визуальных образов из наших мыслей. Да, пока это всё на уровне интерпретации, но упомянутая команда условной Алисе или Марусе действительно может оказаться совсем не за горами.

О разработке процесса, способного генерировать видео по данным сканирования мозга на прошлой неделе сообщили исследователи из Национального университета Сингапура и Китайского университета Гонконга.

Не так давно проскакивали новости об успешном воссоздании текста и даже изображений из данных, полученных в результате фиксации активности мозга с помощью магнитно-резонансной томографии. Например, исследование, проведённое в Техасе, выявило, что ИИ может «прочитать» мысли человека уже не в общем (понять о каком предмете или явлении испытуемый думает), а с некоторой конкретикой.

Вот что слушал человек в аудиокниге: «Я встал с надувного матраса и прижался лицом к стеклу окна спальни, ожидая увидеть глаза, уставившиеся на меня, но вместо этого обнаружил только темноту». А вот что «прочитал» компьютер из активности мозга испытуемого: «Я просто продолжал подходить к окну и открывать стекло, я встал на цыпочки и выглянул, я ничего не увидел, и снова посмотрел вверх, я ничего не увидел».

Жутковато? Ну, некоторые соображения навевает, конечно, но это тема для других исследований. Сейчас же можно констатировать, что, хоть это и довольно весомый прорыв в текстовом «чтении мыслей», воплощение в статическом изображении интерпретации визуальных образов – тоже не простая задачка, которая тоже уже решается. Но, по словам Цзясинь Цин, одного из авторов нового исследования, сегодня получение непрерывных визуальных изображений ‒ то есть видеоряд ‒ представляет собой особую проблему.

Используя ту же процедуру функциональной магнитно-резонансной томографии (фМРТ), Цзясинь Цин, Цзыцзяо Чен и Хуан Хелен Чжоу объединили данные, полученные с помощью изображений, с моделью глубокого обучения «Стабильная диффузия» для создания плавных видео высокого качества.

«Понимание информации, скрытой в нашей сложной мозговой деятельности, является большой загадкой в когнитивной нейробиологии, ‒ говорит Цин. ‒ Задача воссоздания человеческого зрения из записей мозга, особенно с использованием неинвазивных инструментов, таких как фМРТ, является захватывающей, но сложной задачей».

Трудность кроется в самом процессе фМРТ: он фиксирует изображения активности мозга всего лишь каждые несколько секунд, поскольку тестовые сигналы зависимы от уровня насыщения крови кислородом. При стандартной скорости захвата видео в 30 кадров в секунду, такая медлительность технологии лишает нас возможности «подсмотреть» кино.

Для того, чтобы нивелировать отставание в «частоте кадров», команда решила обучить нейросеть выстраивать плавные переходы между редкими снимками фМРТ. С помощью этой своей модели, получившей название Mind-Video, исследователи всё же добились искомых результатов. Получившийся нейро-декодер фМРТ постепенно учится на снимках сигналов мозга, взаимодействуя с базами данных изображений и выполняя точную подстройку. Авторы описывают его как «двухмодульный конвейер, предназначенный для преодоления разрыва между декодированием изображений и видео мозгом». Результатом разработки стали высококачественные видеоролики (в плане разрешения изображения) с некоторым движением и динамикой сцены. Но самое интересное, что точность видео-интерпретации составила 85%.

Цин считает, что такой итог открывает перспективы для невероятного богатства применений этой разработки и подобных ей будущих больших моделей везде и всюду ‒ «от нейронауки до интерфейсов мозг-компьютер».

И действительно, использование ИИ вместе с МРТ и ЭГМ (электромиограмма) для изучения образов, активности мозга и движения мышц раздвигает наши горизонты не только в понимании работы мозга и вообще того, что и как в нём происходит, но и ‒особенно ‒ в понимании одного из его «священных граалей»: мыслительного процесса. Синдзи Нишимото, нейробиолог из Университета Осаки, уверен, что однажды эти наработки действительно можно будет использовать для фиксации мыслей и снов.

«Это похоже на первые годы космической гонки, ‒ говорит Дэниел Олдис, исследователь сновидений из Лаборатории когнитивной неврологии Техасского университета в Остине, разрабатывающий свою технологию МРТ для отслеживания мозговой активности и нервных импульсов в мышцах для определения образов, речи и движений во сне. ‒ Но в этом случае мы отправляемся в пространство мечты».

Учитывая, что, по современным данным, человек видит в среднем до шести снов за ночь и забывает 90% из них уже через нескольких минут после пробуждения, шансы запечатлеть сны предстают весьма и весьма заманчивой перспективой. Это тем более интригует, если вспомнить сколько замечательных (и даже великих) произведений и идей узнало человечество только благодаря ночным озарениям их авторов, получивших вдохновение в царстве Морфея.

Так, если бы Пол Маккартни забыл свой сон, мы могли бы никогда не получить его «Yesterday», названной по опросу Радио BBC лучшей песней 20-го века. А знаменитый вступительный рифф из всего лишь трёх нот гигантского хита Rolling Stones "Satisfaction"? Ведь он тоже пришёл к Киту Ричардсу посреди ночи: если бы он не проснулся, чтобы записать эту идею, песни, возможно, и не было бы. Но нам повезло: он записал риф, сонно пробормотал «Я не могу получить никакого удовлетворения», и снова заснул, а грандиозность того, что получилось, понял только когда утром прослушал набросок.

Кстати, и Сальватор Дали не мог обойтись без такого рода вдохновений. Он вообще называл фантастические сюрреалистические работы, такие как его «Постоянство памяти», «нарисованными от руки фотографиями сновидений». И конечно, все мы помним хрестоматийную историю с Дмитрием Ивановичем Менделеевым и его периодической таблицей элементов.

Однако, такие озарения не чужды и сфере технологий. Например, однажды, нервному студенту, опасавшемуся, что его поступление в Стэнфордский университет было ошибкой, приснился тревожный сон, в котором он загрузил всю сеть на свой компьютер. Сон не забылся, и, проснувшись, юноша приступил к проекту, который однажды будет привлекать 89 миллиардов зрителей в месяц и отвечать на 99 000 запросов в секунду. Имя этого провидца ‒ Ларри Пейдж, а его творение мы знаем под названием Google.

Сегодня запись и трансляция наших снов ‒ будь то ночные кошмары (для лучшего лечения психологических расстройств) или вдохновляющие идеи, меняющие правила игры, ‒ может быть только мечтой, но, как показывают научные успехи ‒ возможно, ненадолго.

АРМК, по материалам Tech Xplore.