Новая брешь в языковом барьере. Наш язык устарел, но машины нас всё-таки поймут.

Исследователи из Массачусетского технологического института разработали аппаратную и программную систему, которая может сократить вычислительную мощность, энергию и время, необходимые для анализа и генерации текста. Изображение: Хосе-Луис Оливарес, MIT.

При всей своей красоте, образности и богатстве речевых смысловых вариаций, любой человеческий язык в качестве средства передачи точной (и однозначной в понимании) информации зачастую бывает крайне неэффективным. Конечно, если, допустим, из «Войны и мира» выкинуть все описания природы, событий, переживаний героев и автора, а оставить лишь действия и факты, то от некогда великого романа-эпопеи останется малоприглядная вытяжка, претендующая разве что на роль конспекта студента исторического факультета. Однако в упомянутом богатстве, обеспечивающем культурное становление личности, кроятся подвохи, к которым мы привыкаем с самого детства. И те из нас, кто помнят об этом, склонны задавать собеседникам уточняющие смысл их речей вопросы. В свою очередь, услышав такой вопрос, собеседники с соответствующим вниманием удовлетворяют его. Остальные же выскажутся в духе «ну что тут непонятного?!».

Это явление можно наблюдать в быту, между давно живущими вместе людьми (что уж тут говорить о малознакомых?), но в производственной, научной, да и, в общем, в любой профессиональной специализации есть такое понятие как термин – ключевое важное слово, имеющее лишь одно конкретное значение. Другими словами, чтобы избежать двусмысленности, во многих сферах человеческой деятельности (включая, кстати, и наш пример с общением) некоторым словам отводится жизненно важная роль. Прочие же становятся расходными материалами.

Итак: «человеческий язык может быть неэффективным». Перечитайте это ещё раз и подумайте вот о чём: всего два слова – «язык» и «неэффективный» – передают почти весь смысл предложения. 

Важность ключевых слов лежит в основе механизма внимания – нового популярного инструмента компьютерной Обработки Естественного Языка (Natural Language Processing – NLP; не путать с нелинейным, а также и с нейролингвистическим программированием!). В противовес рассмотрению каждого слова с равной важностью, как происходит обычно, при кодировании в более широкий алгоритм НЛП, механизм внимания сосредоточен лишь на ключевых словах. Это даёт лучшие результаты и в прогнозах о том, какими должны быть следующие слова в предложении, и в распознавании настроений фраз, и в прочих многочисленных задачах обработки.

Казалось бы: меньше задач – быстрее процесс. Но тут мы сталкиваемся с трудностью обеспечения точности этого механизма внимания. Чтобы нивелировать погрешности, ему часто требуются внушительные вычислительные мощности. Поэтому он довольно медлителен при работе на наших домашних ПК – стоящие там процессоры общего назначения просто не справляются. 

Но: исследователи Массачусетского технологического института разработали комбинированную программно-аппаратную систему SpAtten, решающую эту проблему. Новинка обеспечивает более оптимизированное НЛП с меньшей вычислительной мощностью, специализируясь, тем не менее, на работе того же механизма внимания.

«Наша система похожа на то, как человеческий мозг обрабатывает язык, – говорит Ханруи Ван, доктор философии, студент кафедры электротехники и информатики и ведущий автор статьи, котораяв этом месяце представит исследование на Международном симпозиуме IEEE по архитектуре высокопроизводительных компьютеров. – Мы читаем очень быстро и просто сосредотачиваемся на ключевых словах. Это идея SpAtten».

С самого своего появления механизм внимания чуть ли не единолично занял нишу по обработке языка компьютером и царствует там вполне обосновано вот уже около 6 лет: он встроен в современные модели НЛП вроде Google BERT и OpenAI GPT-3. Такому статусу он обязан избирательности – ключевой своей способности, позволяющей решать на основе сравнения со своей базой знаний о словосочетаниях, выработанной на этапе обучения, какие слова или фразы в исследуемом предложении являются наиболее важными. Но несмотря на триумф этого механизма в моделях НЛП, само его участие в них – предприятие довольно затратное.

Модели НЛП требуют огромной нагрузки на компьютер отчасти благодаря высокой потребности в памяти механизма внимания. «Эта часть на самом деле является слабым местом моделей», – говорит Ван. Одна из проблем, на которую он указывает, – это отсутствие специализированного оборудования для запуска моделей НЛП, оперирующих механизмом внимания. Упомянутые процессоры общего назначения в наших ПК (сюда относятся и центральные, и графические их виды) изо всех сил пытаются справиться со сложными алгоритмами перемещения данных и арифметикой механизма внимания. И несмотря на то, что они могут-таки эти операции провернуть, их сил и возможностей явно недостаточно для нормального функционала технологии. Более того, по мере усложнения моделей НЛП, проблема явно будет усугубляться. Это особенно справедливо для длинных предложений, сложность обработки которых повысится не только с увеличением количества их составляющих словосочетаний, но и с ростом логических взаимозависимостей как между частями предложений, так и конкретными словами и оборотами. «Нам нужны алгоритмические оптимизации и специализированное оборудование, чтобы удовлетворить постоянно растущие потребности в вычислениях», – подытожил доктор Ван.

Конструкция системы SpAtten, разработанной для более эффективного управления механизмом внимания, совмещает программные и аппаратные решения. Одним из ключевых достижений её ПО является использование «каскадного сокращения» или исключения ненужных данных из вычислений. Если описать в двух словах, то процесс сводится к очистке базы данных от целого вороха неактуальной информации: выбрав токены – ключевые слова предложения – с помощью механизма внимания, SpAtten удаляет неважные из них вместе с вычислениями и перемещениями данных, им соответствующими. А поскольку работа механизма внимания включает несколько вычислительных ветвей – так называемых голов, – то, как и в случае с жетонами, неоправдавшиеся их варианты также идентифицируются и удаляются. Однажды исключённые фрагменты и ветви не учитываются в последующей работе алгоритма, снижая вычислительную нагрузку и облегчая доступ к памяти.

Кроме каскадного сокращения, SpAtten также использует метод прогрессивного квантования. Он позволяет обрабатывать данные меньшими фрагментами битовой ширины и извлекать из памяти как можно меньше данных, ещё больше минимизируя вычислительные затраты на её использование. Однако в целом такой подход должен вызвать вполне обоснованные сомнения, ведь, если рассуждать логически, меньшая битовая ширина закономерно повлечёт более низкую точность обработки данных. Но поскольку в нашей устной речи и переписках преобладают простые предложения, то сокращение ширины квантования может позволить их распознавание и идентификацию практически без потерь, в то время как более высокая точность будет оправдана для сложных ситуаций. Интуитивно эту низкую точность можно понять, представив набор символов «кмптр прогм» как низкоточную версию фразы «компьютерная программа».

Наряду с этими программными ухищрениями, коллектив исследователей разработал специализированную аппаратную архитектуру для запуска процессов обработки при минимальном доступе к памяти. В этом решении высока доля выполнения операций в параллельном режиме, когда на нескольких элементах системы процессы происходят одновременно. Таким образом механизм внимания может анализировать предложение целиком и разом, направив каждое слово по своей параллели обработки. Подобная конструкция позволяет SpAtten оценивать важность токенов и головок при небольшой тактовой частоте процессора. 

Объединение этих программных и аппаратных компонентов в единую систему дало хороший прирост и в скорости НЛП-технологий, и в их энергоэффективности. Оно позволило исключить ненужные или неэффективные манипуляции с данными и, в то же время, сосредоточиться исключительно на задачах, необходимых для достижения цели пользователя.

Философия системы отражена в её названии. SpAtten – это своеобразная языковая контаминация, новая языковая форма в виде набора «редкого внимания». Сами исследователи отмечают, что SpAtten «созвучен спартанскому [нраву]», что означает простой и экономный. Ван говорит: «Это похоже на нашу технику: сделать предложение более лаконичным». Эта лаконичность подтвердилась при тестировании.

Ещё до изготовления физического чипа, исследователи разработали симуляцию своего детища и протестировали её на конкурирующих процессорах общего назначения. «Спартанец» работал более чем в 100 раз быстрее, чем лучший конкурент (графический процессор TITAN Xp). Кроме того, он оказался более чем в 1000 раз более энергоэффективен, чем конкуренты, что позволяет существенно сократить потребности НЛП в электричестве.

Однако этого показалось мало, и учёные вздумали посоревноваться с самими собой – дабы утвердить справедливость своих убеждений, согласно которым аппаратное и программное обеспечение лучше всего разрабатывать в тандеме, они интегрировали SpAtten в свою предыдущую работу. Построив для него специализированную архитектуру модели НЛП и используя свой аппаратно-зависимый преобразователь, они добились примерно двукратного ускорения по сравнению с более общей моделью.

Разработчики считают, что их система может быть полезна компаниям, которые используют модели НЛП для большинства вычислений в области искусственного интеллекта. «Наше видение будущего заключается в том, что новые алгоритмы и оборудование, устраняющие избыточность в языках, снизят затраты и сэкономят средства на энергопотребление для рабочих нагрузок NLP центров обработки данных», – говорит Ван.

На противоположном конце спектра возможностей SpAtten располагается перспектива принести НЛП на небольшие персональные устройства. «Мы можем увеличить время автономной работы мобильных телефонов или устройств Интернета вещей, – поясняет доктор Ван. – Это особенно важно, потому что в будущем многочисленные устройства IoT будут взаимодействовать с людьми с помощью голоса и обычного языка, поэтому НЛП будет первым приложением, которое мы хотим использовать».

Научный руководитель Ханруи Вана, доцент Сун Хан, говорит, что акцент SpAtten на эффективности и устранении избыточности – это путь вперёд в исследованиях НЛП. «Человеческий мозг редко активируется [ключевыми словами]. Модели НЛП, которые редко активируются, будут многообещающими в будущем», – говорит он. «Не все слова равны – обращайте внимание только на важные». 

АРМК, по материалам MIT News