Естественный импульс. Инженерная тяга к природе.

Источник.

С каждым новым витком развития технологии становятся всё более зависимыми от доступности энергоресурсов. Информационно-вычислительные средства, в том числе искусственные нейросети, в этом отношении уже давно стали «притчей во языцех», хотя относительно их вклада в энергопотребление есть лишь примерные данные. В попытках снизить энергопотребление этих машин компьютерная инженерия прибегает к различным способам ‒ от совершенствования алгоритмов до разработки новых методов построения аппаратной части. Но, что касается так называемого ИИ, здесь также стоит учитывать энергозатраты на сопутствующие его производству процессы. Например, на количестве этих необходимых издержек сказывается процесс обучения нейромоделей: объёмы входных данных, время обучения, используемые при этом мощности, ну и, наконец, сама работа (выполнение поставленных задач) ‒ всё это накладывает свою «энергетическую» пошлину на каждую систему глубокого обучения.

Однако у нас есть некоторые очевидные методы обхода существующих проблем. Например, трансферное обучение позволяет не создавать каждую новую модель заново (что называется ‒ с нуля), а использовать уже обученные нейросети для решения новых задач с попутным их «повышением квалификации» ‒ дообучением до уровня требуемой специализации. Это значительно упрощает как их разработку, так и применение в различных областях. Также не последнюю роль играет прогресс в производстве более мощных процессоров при уменьшении их размеров, что прямо влияет на производительность.

И вот мы подобрались к главной мечте вычислительной инженерии. Речь идёт о реализации аппаратными средствами энергоэффективности, присущей биологической нейросети ‒ мозгу. На создание нейроморфного искусственного интеллекта, который позволил бы обрабатывать огромные объёмы данных, потребляя при этом минимум энергоресурсов подобно мозгу, брошено множество интеллектуальных сил. Это достижение, без преувеличения, откроет новую веху информационных технологий.

Учёные постоянно работают в этом направлении и периодически радуют нас успехами. Так, недавно исследователи Льежского университета создали импульсный нейрон нового типа. Модель, получившая название Spiking Recurrent Cell (SRC, пикирующая воспроизводящая клетка), является важным шагом в архитектуре искусственных нейросетей, поскольку сочетает в себе простоту реализации и способность воспроизводить динамику настоящих биологических нейронов.

В статье, опубликованной в журнале Neuromorphic Computing and Engineering, авторы показывают, как их детище предлагает новые перспективы в рамках ИИ. И это при том, что базовая технология импульсных нейронов, на которой основана разработка, и так известна значительной энергоэффективностью, превосходящей используемые методы.

Нужно пояснить: сегодня у науки есть два типа вычислительных моделей, которые задействованы в методах глубокого обучения: это искусственные нейронные сети (Artificial Neural Networks или ANNs) и импульсные нейронные сети (Spiking Neural Networks или SNNs). Однако структура, функционирование и применение этих средств отличаются чуть ли ни фундаментально.

Преимущества ANNs позволили им найти широкое применение в анализе данных: играх и различных системах распознавания ‒ идёт речь об изображениях или голосах. Приложений, ставших их вотчиной, великое множество ‒ их проще реализовать, и, в какой-то мере, они менее требовательны к аппаратному обеспечению. Единственное «но» ‒ они довольно требовательны к вычислительным ресурсам.

В противовес им, SNNs властвуют над временем. Их стезёй стали сферы с высокой важностью своевременности выполняемой задачи. Это и робототехника, и сенсорная обработка данных (медицинское оборудование, системы охраны), интерфейсы мозг-компьютер и носимая электроника. Работа нейросетей в этих областях возможна именно благодаря качественно иному, более реалистичному моделированию биологических нейронных процессов. Связи между нейронами в SNNs реализованы исключительно на импульсах, за счёт чего и работает настоящий мозг.

«Их основным преимуществом является их энергоэффективность, ‒ рассказывает Флоран Де Гетер, инженер Института Монтефиоре Льежского университета. ‒ Это связано с тем, что, когда эти SNNs запускаются на определённом оборудовании, называемом нейроморфным, их энергопотребление становится чрезвычайно низким. Эта особенность позволяет использовать такие сети в ситуациях, когда энергоэффективность имеет первостепенное значение, например, во встроенных системах, вроде автономных компьютерных и электронных систем, которые точно выполняют конкретную задачу в устройстве, в которое они встроены».

Правда, у импульсных нейросетей тоже спрятан скелет в шкафу: в отличие от ANNs, они довольно трудно поддаются обучению. Дело в том, что в них связь между нейронами осуществляется только посредством событий, называемых пиками или импульсами. Благодаря этому SNNs может выполнять асинхронные и разреженные вычисления, что и снижает ‒ причём довольно резко ‒ энергопотребление при работе на специализированном оборудовании. Однако несоответствие вдохновлённой мозгом архитектуры и методов машинного обучения, разработанных для ANNs, накладывает вполне логичные и закономерные технологические ограничения на импульсные сети.

Сегодня учёные сосредоточены как раз на преодолении этого барьера. Разработка алгоритмов обучения, позволяющих экономичным SNNs конкурировать с энергозатратными оппонентами в сложных задачах, стала основной целью многих исследований.

Текущий проект также относится к этой категории изысканий, но амбициозным его можно назвать не только поэтому. Команда Льежа решила опробовать нестандартный подход, в результате которого ей удалось улучшить имитацию поведения бионейронов искусственной импульсной «клеткой». Сравнительно нехитрое изменение динамики хорошо известного и простого в обучении типа нейронов позволило создать модель, нейроны которой вслед за мозгом повторяют пиковую пульсацию. Свою действительно инновационную разработку авторы так и назвали: Spiking Recurrent Cell ‒ импульсно-рекуррентная клетка (SRC).

«Основным нововведением этого исследования является разработка этой периодически пульсирующей ячейки (SRC), ‒ поясняет соавтор исследования, профессор Дэмиен Эрнст, ‒ модели нейрона, способного генерировать импульсы автономно, подобно биологическим нейронам. В отличие от классических моделей SNNs, где импульсы генерируются искусственно, модель SRC допускает более естественную и динамическую эмуляцию нервных импульсов (также называемых потенциалами действия или пиками)».

«Кроме того, способность модели SRC моделировать различное поведение нейронов путём настройки своих внутренних параметров делает эти сети более выразительными и близкими к биологическим сетям, что позволяет добиться значительных успехов в понимании и воспроизведении функций мозга», ‒ воодушевлён соавтор исследования, Гийом Дрион, директор Лаборатории нейроморфной инженерии в Льеже.

Итак, ‒ фанфары! ‒ новая модель позволяет объединить сложные алгоритмы обучения ANNs с энергоэффективностью SNNs. То есть, можно сказать, что это дитя взяло лучшее от родителей, чем практически нивелировало их же «нежелательные гены» в виде высокого энергопотребления и узкой специализации. Такое гибридное решение ‒ большой шаг к новому поколению импульсных нейроморфных сетей.

Модификация динамики, позволившая проводить обучение любой модели с такими нейронами, ведёт к недоступной прежде для импульсных сетей производительности. Теперь Spiking Recurrent Cell будут более чем уместны в условиях критической важности энергопотребления ‒ в бортовых системах автономного транспорта, например. Авторы уверены, что потенциальные возможности применения их разработки, хоть и не безграничны, но и просто большими такие перспективы уже не назовёшь.

АРМК, по материалам университета Льежа.