Как ИИ может усугубить социальное неравенство, и что нам с этим делать.

Изображение Shutterstock.

Помимо научных, инженерных, экспериментальных и бизнес-решений, Искусственный Интеллект (ИИ) продолжает находить всё новые способы проникать в нашу жизнь и расширяет свои роли, закрепляясь в ней. Наверняка очень немногие из нас готовы отказаться от таких удобств, как поисковые системы, подбор кандидатов на сайтах знакомств и рекрутинговых ресурсов или обнаружение и пресечение мошенничества с кредитными картами. Мы явно не спешим расставаться с комфортом и, более того, с удовольствием устремляемся вперёд, тестируя новые технологические веяния со всё большим энтузиазмом, но… можем ли мы доверять алгоритмам, которые всё больше походят на управляющих нами? Можем ли мы стать заложниками своих игрушек подобно тому, как нередко становимся рабами своих страстей?

Как люди, мы совершаем ошибки, обусловленные нашей живой природой. Мы можем потерять фокус внимания, неверно истолковать информацию, да и просто забыть о чём-то. Тем не менее, от рождения наделённые такой невообразимой роскошью как способность к мышлению, мы можем распознавать свои ошибки и исправлять их.

Но искусственная нейросеть будет повторять когда-то допущенную ею ошибку снова и снова. Причём – независимо от того, сколько раз будут просмотрены одни и те же данные при одних и тех же обстоятельствах. А всё потому, что в системах машинного обучения используются данные, неизбежно отражающие прошлое. Точнее – наши с вами прошлые знания об исследуемой системой ИИ теме, справедливые на момент её обучения. Поэтому, если набор обучающих данных содержит ошибки, присущие нашим прошлым решениям (как в случае с последующими изменениями, обновлениями или уточнениями знаний и данных), то эти ошибки кодируются и усиливаются системой.

Или, например, в случае, когда штатное обучение имело довольно небольшую выборку данных, касающихся какой-то конкретной группы меньшинства, прогнозы для этой группы будут заметно хуже остальных – машина просто воспримет наш ограниченный набор информации за сто процентов условий решаемой задачи. В исследовательской среде это называется «алгоритмической предвзятостью» нейросети.

Как же возникает алгоритмическая предвзятость?

Описанный пример – не единственный вариант возникновения алгоритмической систематической ошибки. Она может появляться как вследствие неполного набора обучающих данных или даже их некорректности, так и в результате неправильного проектирования или конфигурации самой системы.

Например, нейромодель, помогающая банку принимать решение о предоставлении ссуды или отказе в кредитовании, обычно обучается с использованием большого набора данных о предыдущих решениях банка по ссуде и других соответствующих данных, к которым у банка есть доступ. Система сравнит финансовую историю, историю занятости и демографические данные нового соискателя кредита с соответствующей информацией о предыдущих соискателях. Исходя из этого, ИИ пытается спрогнозировать платёжеспособность потенциального клиента и даже предсказать, сможет ли новый заявитель выплатить ссуду в случае форс-мажорных обстоятельств.

Но в перспективе такой подход может создать проблемы, поскольку основан на данных, неотъемлемым свойством которых является пресловутый человеческий фактор. Так бессознательная симпатия или антипатия к посетителям со стороны кредитных менеджеров, принимавших прошлые решения по ипотечным заявкам, создаёт неучтённую при обучении системы погрешность, величина которой изменяется от случая к случаю и может быть весьма значительна в некоторых из них. А учитывая тот факт, что сколь бы ни был профессионален банковский служащий, будучи живым человеком, он не может принимать решения абсолютно безошибочно, можно сказать, что в данной ситуации возникновение алгоритмической предвзятости практически гарантировано.

Вот так и получается, что если в прошлом молодым людям, представителям другой расы, матерям-одиночкам, людям с ограниченными возможностями и даже рабочим, зарабатывающим неквалифицированным трудом несправедливо отказывали в ссуде, ИИ будет считать, что общая платёжеспособность этих групп ниже, чем есть на самом деле. Из этого следует, что у представителей этих и многих других групп меньшинств сохраняются риски оказаться в неприятном положении и ощутить на себе такое явление как электронная дискриминация. Мало того, если раньше вы могли своими манерами, речью и обаянием завоевать симпатию кредитного менеджера, то как вы ублажите Искусственный интеллект? Подарите ему шоколадку, дескать, для мозга полезно?

Несправедливость вредит всем

В описанном примере несовершенство алгоритмов искусственного интеллекта наносит урон не только представителям малочисленных групп населения. Это также создаёт проблемы самим банкам, обусловливая несколько ключевых рисков.

Во-первых, это потенциальный отток и банальная потеря клиентов, поскольку, получив необоснованный отказ, они расскажут об этом друзьям и знакомым. Во-вторых – это, считай, спонсорская поддержка конкурентов, ведь в поисках решений своих проблем означенные люди уйдут именно к ним. Ну и наконец – проблемы с законом: банк может быть привлечён к ответственности за дискриминацию, что чревато не только административными взысканиями, но и репутационными потерями, которые неминуемо скажутся на финансовой стороне вопроса.

Тут стоит вспомнить, что данные для обучения хранят погрешности, которые, повторимся, почти гарантируют подобную безусловную предвзятость. А если она приобретает черты постоянного свойства решений интеллектуальных алгоритмов, используемых банком, то и правительству, и самим потребителям становится легче идентифицировать это «систематическое безобразие», что может вызвать ещё больше разношёрстных неприятностей и проблем у финансового учреждения. Поэтому юридическая необходимость устранить этот риск имеет значение не только с точки зрения правопорядка.

Однако, справедливости ради, нужно сказать, что хороший бизнес, как правило, идёт дальше минимальных требований закона. И, чтобы помочь ему всегда действовать этично и не ставить под угрозу своё доброе имя, мы предлагаем обратить внимание на несколько аспектов.

Снижение алгоритмической предвзятости

Итак, как же всё-таки устранить эту алгоритмическую ошибку, чтобы впредь расчёты наших систем Искусственного Интеллекта не приводили в результате к дискриминации по расовым, возрастным, гендерным и другим признакам?

Чтобы подобрать критерии для выбора адекватных методов профилактики и проработки необходимых шагов по предупреждению возникновения описываемого дефекта, учёные решили смоделировать ситуацию гипотетического розничного продавца электроэнергии, который посредством инструмента на базе искусственного интеллекта хочет понять, каким образом лучше предлагать продукты своим клиентам и, особенно, на каких условиях. Обучение проходило на вымышленных исторических данных, состоящих из вымышленных людей, что, тем не менее, позволило выделить пять подходов к исправлению алгоритмической ошибки. 

Основываясь на полученных результатах тестирования, можно утверждать, что этот набор инструментов применим ко множеству предприятий и учреждений в различных сферах человеческой деятельности. И он действительно в состоянии обеспечить большую точность выводов искусственно-интеллектуальных систем и не допускать просчёты, ведущие к культивации и обострению социальной несправедливости.

1. Уточнение данных

Самое явное решение – это, конечно, пополнение обучающей базы дополнительными точками данных. Но ещё риск алгоритмической ошибки можно снизить за счёт включения новых типов информации о мало представленных лицах или о тех, кто может отображаться неточно в существующих наборах данных. Относительно первых исправляется ошибка с меньшинствами, а во втором случае – с предвзятостью принимавших решения людей.

2. Подготовка данных.

Этот пункт означает прежде всего редактирование набора данных – конкретные их фрагменты можно нивелировать, замаскировав под несущественные, или попросту удалить. Так, информация о расе, поле или других атрибутах, которые могут быть связанны с вопросами защиты личности от проявлений дискриминации, важна не везде и в соответствующих случаях ею можно пренебречь.

3. Повышение сложности модели.

Все мы предпочитаем наиболее простые выходы из ситуаций. И сегодня тоже не будет исключений, ведь чем проще модель нейросети, тем легче её изучать, тестировать и отслеживать её работу. Но она также может быть менее точной и приводить к обобщениям в пользу большинства, а не меньшинства.

4. Измените систему.

Логику и параметры системы ИИ также можно настраивать упреждающе, поскольку, если делать это заранее, можно напрямую противодействовать алгоритмической предвзятости. Например, простое изменение в установках порога принятия решения для уязвимой группы может невероятно откорректировать результаты по ней.

5. Измените цель прогноза.

Эта конкретная мера напрямую влияет на то, как система ИИ принимает решения в разных группах. Дело в том, что выбранное для управления решениями системы измерение, так же как и порог принятия решений, основательно влияет на результат. Для понимания достаточно вспомнить эйнштейновское «если вы будете судить рыбу по её способности взбираться на дерево, она проживёт всю жизнь, считая себя дурой». Так что применение более справедливой меры для использования в качестве цели прогноза обязательно снизит алгоритмическую систематическую ошибку.

Учитывайте законность и мораль

И в заключение напомним о том, с чего стоило бы начать. Каждый, кто желает использовать искусственные интеллектуальные вычислительные системы для принятия решений, должен помнить, что прежде, чем использовать эти технологии в своей хоть сколько-нибудь публичной деятельности, их категорически необходимо привести в соответствие общим принципам справедливости и прав человека. Конечно, первостепенная важность такого подхода станет безусловной после первого же инцидента, но ведь до него можно и не доводить. Всё, что нужно – настроить работу системы в соответствии с общепринятыми нормами, учитывая её влияние на людей, сообщества и окружающую среду.

Также не стоит забывать, что тщательная разработка и тестирование алгоритмов, конечно улучшают их работу, но всё же не могут гарантировать отсутствие ошибок в выходных данных. Чтобы последние наверняка не были испорчены алгоритмическими предвзятостями, после ввода в эксплуатацию за ними следует внимательно следить.

Наконец, как бы банально не выглядел этот совет, всё-таки он стоит того, чтобы заострить на нём внимание: системы искусственного интеллекта следует использовать ответственно и этично, особенно в компромиссных с буквой закона случаях. Поскольку инструменты принятия решений на основе машинного обучения становятся обычным явлением, у нас возрастает ответственность за последствия их использования. Теперь, помимо повышения производительности, мы можем не только создать более равноправное и справедливое общество, но и уйти в этом вопросе в диаметрально противоположном направлении.

Так будем же осторожны.

АРМК, по материалам The Conversation