×

Исследователи из Хельсинкского университета разработали методику компьютерного моделирования визуального восприятия человека, отслеживая сигналы мозга с помощью технологии электроэнцефалограммы. Затем, посредством подготовленного машинным обучением алгоритма, полученные данные расшифровываются и на их основе создаются изображения. Таким образом, ИИ пытается не только распознать, но и, в некотором смысле, представить то, о чём думает человек. Конечно, чтения мыслей (в буквальном смысле) пока не получается, но в результате столь простой на первый взгляд интерпретации, которую так и хочется назвать искусственным воображением, происходит нечто замечательное: компьютер способен стать для человека источником идей. Всё дело в той самой неидеальности – или погрешности алгоритмов, наших знаний и возможностей, – благодаря которой чтение мыслей остаётся фантастикой. Да, производство совершенно новой информации типа вымышленных, ранее не виданных изображений, вышло на новый уровень. 

Основанный на новом интерфейсе мозг-компьютер, этот метод скорее всего хорошо приживётся в индустрии развлечений, а также полюбится представителям творческих профессий как поддержка в поисках оригинальных идей. 

«Если вы хотите что-то нарисовать или проиллюстрировать, но не можете этого сделать, компьютер может помочь вам в достижении вашей цели. Он может просто наблюдать за фокусом внимания и предсказать, что вы хотите создать», – поясняет руководитель проекта Туукка Руотсало, научный сотрудник Академии Финляндии в Университете Хельсинки и доцент университета Копенгагена

Но кроме этих сфер, считают авторы, у разработки огромный потенциал в психологии и когнитивной нейробиологии. И если раньше подобные интерфейсы поддерживали лишь одностороннюю связь от мозга к компьютеру (могли, например, произносить отдельные буквы и перемещать курсор, что сейчас помогает людям с ограниченными возможностями общаться с миром, а благодаря примеру Стивена Хокинга даже и работать), то теперь моделирование обработки сигналов ЭЭГ и компьютерного представления полученной из них информации производятся одновременно. Причём – с использованием методов искусственного интеллекта. Насколько известно, новое исследование является первым в своём роде.

Нейроадаптивное генеративное моделирование

Авторы назвали этот метод нейроадаптивным генеративным моделированием. Суть его довольно проста: подбираются изображения, соответствующие определённым визуальным характеристикам; просматривая отобранное, участники исследования мысленно фиксируют эти характеристики, обогащая сигналами ЭЭГ базу данных машинного обучения; далее получившаяся генеративная нейронная сеть конструирует новое изображение на основе реакций человеческого мозга от просмотра уже других изображений. 

Так, только на основе энцефалограммы, алгоритм ИИ распознавал изображения, относящиеся к задаче (например, портрет светловолосого человека), и затем создавал из этих мысленных меток из ЭЭГ соответствующие новые изображения. В результате эксперимента учёные пришли к выводу, что для простых и чётко определенных задач распознавания-интерпретации разработку вполне можно применять.

Также были проведены исследования эффективности этого подхода, где участвовал 31 доброволец. Во время записи их энцефалограмм, им были показаны сотни созданных искусственным интеллектом изображений разноплановых людей. Испытуемым нужно было сконцентрироваться на чём-то определённом: например, на лицах пожилых людей или на улыбающихся. При просмотре быстро сменяющихся серий изображений лиц, данные ЭЭГ субъектов передавались в нейросеть для определения соответствия какого-либо обнаруженного мозгом изображения тому, что искали субъекты. 

Основываясь на полученной информации, ИИ уточнял адаптивную оценку показателей мозговой активности добровольцев. Наконец, и сгенерированные компьютером изображения, были оценены людьми как почти полностью удовлетворяющие заданным участниками характеристикам. Фактическая же точность эксперимента составила 83 процента.

«Этот метод сочетает в себе естественные человеческие реакции со способностью компьютера создавать новую информацию. В эксперименте участников просили смотреть только на компьютерные изображения. Компьютер, в свою очередь, моделировал отображаемые изображения и реакцию человека на изображения с помощью реакции человеческого мозга. На основе этого компьютер может создать совершенно новое изображение, которое соответствует намерениям пользователя», – говорит Туукка Руотсало, научный сотрудник Академии Финляндии в Университете Хельсинки и доцент университета Копенгагена

Бессознательное отношение может быть выявлено

Создание человеческого портрета – лишь пример использования технологии. Одним же из практических преимуществ её может быть то, что, как уже было сказано выше, компьютеры могут повысить результаты творческих изысканий человека. Однако исследователи считают, что эту технику можно использовать гораздо шире: она может стать одной их ключевых в понимании основных процессов в сознании и устройства нашего восприятия. 

«Методика не распознает мысли, а скорее реагирует на ассоциации с ментальными категориями, которые у нас есть. Таким образом, хотя мы не можем выяснить личность конкретного «пожилого человека», о котором думал участник, мы можем получить понимание о том, что у него ассоциируется со старостью. Поэтому мы считаем, что это может предоставить новый способ получить представление о социальных, когнитивных и эмоциональных процессах», – рассказывает старший научный сотрудник Мишель Спапе.

По его словам, это интересно и с психологической точки зрения: «Представления одного человека о пожилом человеке могут сильно отличаться от представления другого. В настоящее время мы выясняем, может ли наша техника выявить бессознательные ассоциации. Например, всегда ли компьютер отображает стариков как, скажем, улыбающихся мужчин». 

С другой стороны, полученные данные можно использовать в различных устройствах, объединяющих мозговую и компьютерную деятельность. Эти интерфейсы потребуют портативной носимой электроники с измерительным функционалом оборудования для проведения электроэнцефалограмм. Такие гаджеты уже активно разрабатываются и вполне могут быть доступны в недалёком будущем. 

Ну а пока что современные методы измерения активности мозга подходят лишь для контролируемых установок в лаборатории, и для повседневного использования технологию предстоит ещё неоднократно усовершенствовать. Кроме того, учитывая, что сейчас охватывается очень небольшой процент активности мозга, есть возможность научиться получать информацию о человеческих реакциях (например, о предпочтениях или оценках чего-либо) непосредственно из мозга. 

«Вместо того, чтобы использовать обычные рейтинги или кнопки лайков, вы могли бы просто послушать песню или посмотреть шоу, и одной активности вашего мозга было бы достаточно, чтобы определить вашу реакцию на это», – заявляют исследователи.


 

По материалам University of Helsinki