Третье измерение ИИ на фотонных 3D-вычислителях.

Художественная визуализация фотонного чипа с данными кодирования света и радиочастот. Источник.

Помните пресловутый закон Мура о том, что число транзисторов в процессоре удваивается каждые пару лет? А о том, что недалёк тот день, когда мы упрёмся в непреодолимый физический предел этой «плотности населения» интегральной схемы? Так вот: это немного устаревшие данные. И дело не столько в том, что удвоение ускорилось (теперь оно занимает всего 18 месяцев против 24, как было совсем недавно), сколько в том, что аппетиты ИИ-вычислений многократно превышают эти наши возможности. Сегодня они требуют двукратного увеличения компьютерных мощностей примерно каждые 3,5 месяца. Это означает, что для удовлетворения растущего спроса необходимы новые вычислительные парадигмы. Причём срочно.

Новые разработки в области аппаратных «ускорителей» варьируются от электронных тензорных ядер с динамической оптимизацией вычислений и мемристорных матриц с их имитирующей реальные синапсы динамикой до фотонных реализаций на околосветовых скоростях. Цель всех этих многоумных подходов ‒ справиться с упомянутым экспоненциальным ростом вычислительной нагрузки машинного обучения. Одним из решений считается увеличение числа «измерений», на которых происходит обработка сведений, и, хотя ранее удалось добиться двумерности этого процесса путём мультиплексирования пространства и длины волны, аппаратной реализации по-настоящему объёмной, трёхмерной обработки ещё не было. До сего дня.

В статье, опубликованной в журнале Nature Photonics, исследователи университетов Оксфорда, Мюнстера, Гейдельберга и Эксетера сообщают о своей разработке интегрированного фотонно-электронного оборудования, способного обрабатывать трёхмерные данные. Авторы уверенны, что их аппаратное обеспечение существенно повышает параллельность обработки, значительно ускоряя этим выполнение искусственно-интеллектуальных задач.

Один из подходов ‒ использование света вместо электроники ‒ позволяет выполнять несколько вычислений параллельно с предоставлением разных длин волн для разных наборов данных. Многие участники сегодняшней разработки причастны к новаторской работе, опубликованной в 2021 году в журнале Nature, где они показали форму чипа для осуществления фотонной обработки. Благодаря этому появилась возможность выполнять матрично-векторное умножение (важнейшая задача для приложений искусственного интеллекта и машинного обучения) со скоростями, намного превосходящими самые быстрые электронные подходы. Тот успех был столь значимым, что привёл к рождению целой компании, сосредоточившейся на фотонном искусственном интеллекте, Salience Labs ‒ дочерней компании Оксфордского университета.

«Это захватывающее время для проведения исследований в области аппаратного обеспечения искусственного интеллекта в фундаментальном масштабе», ‒ считает её соучредитель, руководитель проекта, профессор Хариш Бхаскаран с кафедры материалов Оксфордского университета.

Но теперь команда зашла ещё дальше. Наряду с пространственно-распределённой энергонезависимой памятью и мультиплексированием длин волн, к возможностям обработки чипов фотонного матрично-векторного умножителя была добавлена теперь радиочастотная модуляция фотонных сигналов, создавшая ещё одно параллельное измерение для вычислений.  Став возможной за счёт использования нескольких различных радиочастот для кодирования данных, эта «многомерная» обработка поднимает параллельность расчётов на уровень, намного превышающий предыдущие достижения. В том числе ‒ этой же команды учёных, которые текущей работой буквально превзошли себя.

«Ранее мы предполагали, что использование света вместо электроники может увеличить параллелизм только за счёт использования разных длин волн, ‒ говорит первый автор исследования, доктор Боуэй Донг из факультета материалов Оксфордского университета, ‒ но затем мы поняли, что использование радиочастот для представления данных открывает ещё одно измерение, обеспечивая сверхбыструю параллельную обработку для нового оборудования искусственного интеллекта».

Художественная визуализация фотонного чипа с данными кодирования света и радиочастот. Источник.

В качестве тестовых испытаний было решено провести на новом оборудовании какие-то типичные для нейромоделей вычисления. Для этого из медицинских баз данных взяли электрокардиограммы пациентов с сердечно-сосудистыми заболеваниями с целью выявления рисков внезапной смерти. Нейросети удалось справиться с заданием довольно успешно ‒ с точностью 93,5%, ‒ но главное не в этом, а в том, что анализ 100 сигналов электрокардиограммы шёл одновременно.

Более того, было также подсчитано, что даже при умеренном масштабировании (скажем, 6 входов на 6 выходов) новое аппаратное решение способно превзойти современные электронные процессоры в 100 раз, обеспечив куда большие плотность вычислений и энергоэффективность. А вообще, авторы исследования уже потирают руки, заглядывая в будущее в ожидании дальнейшего улучшения параллелизма вычислений за счёт использования большего количества степеней свободы света. Пока ставки на его поляризацию и мультиплексирование мод.

С каждым днём большие данные предоставляют моделям глубокого обучения всё более и более богатую и многогранную информацию. Благодаря этому нейросети могут выявить основные закономерности в анализируемых сведениях для всё большей точности прогнозирования. Это развитие оказывает глубокое влияние на жизни как общества в целом, так и каждого человека в частности. Эти технологии мы снабдили всем ‒ информацией, зрением, распознаванием речи, обработкой языка; и поручили им многое ‒ медицину, безопасность, науки, финансы.

Однако вычислительные нагрузки, которые большие данные налагают на аппаратные системы, ставят под угрозу жизнеспособность всех этих наших технологических достижений. Интернет Вещей, 5G ‒ рост глобального объёма данных катастрофичен. Достигнув уровня в 64,2 зеттабайта в 2020 году, уже в 2025 он должен составить немыслимые 181 зеттабайт. И большая часть этого требует вычислительных ресурсов за пределами закона Мура.

«Эта работа является одним из примеров как то, что мы считали пределом, можно превзойти», ‒ подытожил профессор Бхаскаран.

АРМК, по материалам Science X.