Обучая неживое. Электричество как учитель.

Исследователи разработали систему на основе оксида никеля, которая демонстрирует обучаемость и легко реализуется в массивах RRAM. Источник.

С помощью Advanced Photon Source ‒ «Усовершенствованного источника фотонов» или источника синхротронного излучения в Аргоннской лаборатории ‒ учёные смогли наблюдать имитацию обучаемости со стороны неживой материи. Такое потрясающее всю систему знаний о живой и неживой природе явление открывает непредвиденные перспективы. Настолько, что сейчас они выглядят просто непредсказуемо. Крайне непросто спрогнозировать, куда это может привести научную мысль.

Однако, применение открывшихся знаний в технологиях искусственного интеллекта кажется всё-таки довольно очевидным. Плюс ‒ обучение, будучи едва ли не главной способностью человеческого мозга, уже давно вдохновляет учёных на создание нового поколения таких суперкомпьютеров, которые бы могли сравниться с ним по энергоэффективности.

В процессе создания таких компьютеров, особое внимание уделяется небиологическим материалам, свойства которых позволили бы имитировать обучение. Такие находки могут стать аппаратной основой, а вкупе с новыми программными алгоритмами, обеспечить более мощный, полезный и энергоэффективный ИИ.

В новом исследовании, проведённом учёными из Университета Пердью, оксид никеля с дефицитом кислорода был подвержен коротким электрическим импульсам. Чтобы обнаружить динамику атомарного масштаба, команда использовала рентгеновскую абсорбционную спектроскопию. По словам профессора Университета Рутгерса Шрирама Раманатана, в результате получается полностью электрическая система, которая демонстрирует поведение, наблюдаемое обычно в процессе обучения. Суть этого поведения сводится к двум разным реакциям.

Первая ‒ привыкание ‒ возникает, когда материал «привыкает» к тому, что его слегка потряхивает короткими разрядами. Оказалось, что, хотя с первым импульсом сопротивление материала увеличивается, вскоре он как будто привыкает к этому периодическому электро-раздражителю. 

«Привыкание похоже на то, что происходит, когда вы живете рядом с аэропортом», ‒ пояснила физик Фанни Родолакис, учёный из APS. ‒ «В день, когда вы въезжаете, вы думаете: «Что за шум», но в конце концов уже почти ничего не замечаете».

Другая же реакция, называемая страшным словом «сенсибилизация», возникает при введении большей дозы электричества. Представитель APS описала его так: «При более сильном стимуле реакция материала со временем увеличивается, а не уменьшается. Это сродни просмотру фильма ужасов, а потом кто-то говорит «бу!» из-за угла — и вы действительно подпрыгиваете при этом».

«Практически все живые организмы демонстрируют эти две характеристики, ‒ подчёркивает исследователь. ‒ Они действительно являются основополагающим аспектом интеллекта».

Эти две поведенческих манеры контролируются квантовыми взаимодействиями между электронами, которые не могут быть описаны классической физикой и которые помогают сформировать основу для фазового перехода в материале. «Примером фазового перехода является превращение жидкости в твёрдое тело, – говорит Родолакис. ‒ Материал, на который мы смотрим, находится прямо на границе, и конкурирующие взаимодействия, которые происходят на электронном уровне, могут легко измениться в ту или иную сторону небольшими стимулами».

Раманатана указывает на важность наличия системы, способной целиком управляться электрическими сигналами, для вычислительных приложений, основанных на имитации работы мозга. «Возможность манипулировать материалами таким образом позволит оборудованию взять на себя часть ответственности за интеллект, — поясняет она. ‒ Использование квантовых свойств для внедрения интеллекта в аппаратное обеспечение представляет собой ключевой шаг на пути к энергоэффективным вычислениям».

Возможно, разница между привыканием и сенсибилизацией поможет преодолеть проблему в разработке ИИ, называемую дилеммой стабильности-пластичности. Дело в том, что алгоритмы глубокого обучения часто могут, с одной стороны, слишком неохотно адаптироваться к новой информации, а с другой ‒ когда они это делают, они часто могут забыть кое-что из того, что уже выучено. Теперь же, применяя материалы с новыми свойствами, которые могут физически «привыкнуть», учёные могут научить ИИ игнорировать или забывать ненужную информацию и тем самым добиться куда большей стабильности. Что же касается сенсибилизации, то она поможет научить нейромодель запоминать и усваивать новую информацию, обеспечивая пластичность.

«ИИ часто с трудом изучает и хранит новую информацию, не перезаписывая информацию, которая уже была сохранена, ‒ раскрывает Родолакис трудности, стоящие перед разработчиками. ‒ Слишком большая стабильность мешает ИИ учиться, но слишком большая пластичность может привести к катастрофическому забыванию».

Он дополняет, что одним из основных преимуществ нового устройства из оксида никеля был его небольшой размер: «Этот тип обучения ранее не использовался в нынешнем поколении электроники без большого количества транзисторов. Эта система с одним соединением является на сегодняшний день самой маленькой системой, демонстрирующей эти свойства, что имеет большое значение для возможного развития нейроморфных схем».

АРМК, по материалам Argonne.