×

Казалось бы, мы знаем, что наука не стоит на месте, особенно в сфере технологий искусственного интеллекта. Постоянно создаются и совершенствуются новые нейромодели и основанные на них решения. Сам факт возможности обучить машину чему-либо открывает перед человеком просто непостижимые перспективы, но… Ещё больше захватывает дух от понимания того, что, насколько бы гигантским шагом ни было создание колеса, оно всё же привело к созданию автомобиля.

Так что нам ожидать от прогресса? Мы вообще в состоянии это представить?

Так думаем мы, обыватели. У людей науки на этот счёт восторгов поменьше – в отличие от нас, они знают пределы существующих возможностей. Но зато они могут их раздвигать. И в столь молодом направлении, как ИИ-технологии, существует немало ограничений и белых пятен. Конечно, одни исследователи изучают возможности нового инструмента «как есть», а другие энтузиасты не хотят мириться с его несовершенством, отчего и становятся первооткрывателями. И буквально на днях произошло одно из таких вот знаменательных событий.

На факультете электротехники и компьютерных наук исследовательского отдела Льежского университета в Бельгии разработан новый искусственный нейрон, вдохновлённый различными функциональными режимами работы живых человеческих нейронов. 

Огромный интерес к искусственному интеллекту в последние годы привёл к разработке чрезвычайно мощных методов машинного обучения. Наиболее впечатляющими из них являются те, которые оперируют в своих алгоритмах такой составляющей как время.  Временные ориентиры могут использоваться любыми рядами данных в сферах, где изменчивость показателей имеет критически важное значение. Это может быть, например, отслеживание и прогнозирование цен на фондовом рынке, эволюция метео-условий или даже динамика течения болезни пациента вплоть до каждой конкретной электроэнцефалограммы.

Учёт времени по своей природе чрезвычайно распространён и в обычной жизни – мы планируем встречи, мероприятия, – а в математической картине событий и процессов приобретает просто определяющее значение, отчего и представляет большой интерес из-за широкого диапазона применения подобного мониторинга. Анализ временных рядов – это тот тип задач, для которых методы машинного обучения представляют особый интерес, позволяя предсказывать будущие события на основе прошлых. Учитывая разнообразие потенциальных сфер применений, логично, что обработка таких данных с помощью алгоритмов искусственного интеллекта в последние годы стала весьма востребована.

Для решения подобного рода задач в последние годы был специально разработан особый тип искусственной нейронной сети, называемый рекуррентной нейронной сетью (RNN). Ключевой особенностью его стала работа с памятью, которая позволяет сети сохранять информацию во времени, что и позволяет правильно обрабатывать данные временных рядов. RNN-сети обеспечивают отличную производительность при решении многих проблем, требующих памяти – это и распознавание речи, и нейронный перевод, и прочее моделирование одной последовательности в другую. Зачастую в этих находках широко использовались результаты развития рекуррентных ячеек с долговременной краткосрочной памятью и закрытыми рекуррентными единицами. Они и стали в RNN «ловцами времени».

Такой подход воплощён в нехитрой схеме: каждый раз при получении новых данных сеть обновляет свою память, чтобы сохранить эту новую информацию. Как раз это и позволило использовать машинное обучение во временном контексте, что само по себе уже оказалось победой. Однако несмотря на видимый прогресс в технологии, успех таких сетей не был оглушительным – их по-прежнему сложно обучать, и возможности их памяти довольно ограничены во времени.

«Мы можем представить себе пример сети, которая получает новую информацию каждый день, – объясняет суть рекуррентной нейро-технологии Николя Вековен, докторант лаборатории систем и моделирования Льежского университета и первый автор исследования. – Но после 50-го дня мы замечаем, что информация с первого дня уже забыта».

Однако человеческие нейроны способны сохранять информацию в течение почти бесконечного периода времени благодаря механизму би-стабильности.«Это позволяет нейронам стабилизироваться в двух разных состояниях, в зависимости от истории электрических токов, которым они подвергались, и это в течение бесконечного периода времени, – продолжает специалист. – Другими словами, благодаря этому механизму нейроны человека могут сохранять бит (двоичное значение) информации бесконечное время».

Эта удивительная особенность и стала той основой, на которой Николя Вековен и его коллеги – ИИ-специалист Дэмиен Эрнст и нейробиолог Гийом Дрион – создали новый искусственный нейрон, воссоздающий механизм би-стабильности живого оригинала, и интегрировали его в повторяющиеся искусственные сети. В то время как классические RNN-методы вынуждены делать новую запись поверх старых данных уже через 100 временных меток (шагов), разработка, получившая название бистабильной рекуррентной ячейки (BRC), позволила рекуррентным сетям изучать временные зависимости, десятикратно превосходящие предыдущее решение по числу замеров. Так что этот новый искусственный нейрон позволяет упомянутым сетям обрабатывать данные, распределённые между более чем 1000 дискретных единиц времени. 

Но это ещё не всё. В дополнение к бистабильной рекуррентной ячейке (BRC), вооружившей сети состоянием бистабильности, исследователи создали её производную – рекуррентно нейромодулированную бистабильную рекуррентную ячейку (nBRC), которая стала некой имитацией клеточной памяти. Подход оказался очень эффективным на нескольких наборах данных, требующих долговременной памяти. На тех самых, на которых возможности классических рекуррентных ячеек оказались весьма ограниченными. Более того, авторы подчёркивают, что в случае с nBRC механизмы определения обрабатываемого интервала времени могут быть сравнимы с биологической нейромодуляцией.

Сейчас команда продолжает исследования в этой конкретной области. В том числе работа ведётся и над совершенствованием новой технологии. По расчётам авторов, улучшению сетей RNN-памяти будет способствовать возникновение в них точек равновесия. В качестве будущей работы специалисты считают наиболее интересным изучение более сложных и биологически правдоподобных схем нейромодуляции. Им хочется определить, какие типы новых закрытых архитектур могут возникнуть на базе их разработок. По их признанию, хорошим биологически мотивированным примером этого может быть использование нейромодуляторной сети для расчётов активации нового набора данных в обучении нейромодели адаптивному поведению.

Кроме того, отмечают учёные, бистабильные ячейки могут быть очень полезны для так называемых задач с разреженными средами, – когда критически важные временные точки довольно сильно удалены друг от друга. «Эти проблемы, как известно, чрезвычайно трудно решить, с одной стороны, из-за сложности исследования, а с другой стороны, из-за трудности запоминания соответствующей информации через большие промежутки времени, – пишет в опубликованной в PLOS ONE статье, посвящённой исследованию, Николя Вековен. – Бистабильные клетки – многообещающий путь для решения последнего, и, возможно, стоит его изучить».


 

АРМК, по материалам Университета Льежа и PLoS ONE