Инструмент ли инструмент? Рабы алгоритмов.

Мы принимаем решения на основе поступающих от ИИ-алгоритмов рекомендаций, несмотря на то что нейромодели могут допускать ошибки или упускать из виду определённые факторы. Источник.

Человеку природой завещано симпатизировать лености и стремиться к покою, дабы сэкономить силы и энергию. Отчасти потому мы так любим волшебные сказки с «чудодейственными» средствами, которые не требуют от героев значительных усилий. Потому же мы любим фантастику, и потому же сегодня не просто возлагаем большие надежды на ИИ, а буквально склонны вверить этой технологии своё будущее, наделяя её способностью решить почти все наши проблемы. Мы мечтаем о справедливом мироустройстве, эффективном и направленном на благо граждан госуправлении, об экологичных и оптимизированных технологиях вроде персонализированной медицины, о разнообразии досуга и массе свободного времени для жизни, а не зарабатывания на неё. Мы надеемся на ИИ, потому что сами проваливаем все эти задачи раз за разом.

Но, может быть, это не просто мечты, а нейромодели — не столь уж и мнимая «волшебная палочка»? По словам Андреа Розалес, профессора факультета информационных и коммуникационных наук Открытого университета Каталонии (UOC), наше общество может увидеть преимущества цифровизации только сейчас. Мы ещё не так уж далеко ушли в освоении нами же созданных умных решений, а поскольку они постоянно развиваются, мечты о «цифровом волшебстве» — вполне нормальная игра психики и воображения.

Тем не менее, будучи руководителем исследовательской группы «Коммуникационные сети и социальные изменения» (CNSC) при Междисциплинарном интернет-институте (IN3 — The Internet Interdisciplinary Institute) того же университета, она высказывает опасения относительно влияния на человека свалившегося «ожидания чуда» и переоценки чудесности оного. На примере анализа романа-антиутопии Марка-Уве Клинга «Страна качества» (QualityLand — лучший немецкий роман 2018 года по версии «Немецкой научно-фантастической премии») о мире, управляемом алгоритмами, она в соавторстве с коллегой по кафедре, профессором Сарой Суарес, показывает более мрачные и менее известные стороны внедрения новых технологий.

В статье, опубликованной в «Справочнике по автоматизированному будущему» издательства De Gruyter, авторы приходят к выводу, что встроенные алгоритмы часто не включают в расчёты особенности наиболее уязвимых групп населения. В процессе цифровизации общества это может иметь далекоидущие негативные последствия, оставив на задворках отличающихся от большинства людей. Эти ошибки называются предубеждениями, но речь здесь, конечно, идёт не о какой-то неприязни, а скорее о предвзятости: описываемая необъективность складывается из вероятностной природы вычислений в недрах ИИ, который склонен больше учитывать преобладающие тенденции, чем редкие исключения. Таким образом, технологии, которые, казалось бы, способны решать наши насущные проблемы, на самом деле не могут этого сделать для всех нас.

«Цифровые технологии генерируют большие объёмы данных и создают впечатление, что можно контролировать и количественно оценивать большинство аспектов жизни, — поясняет Розалес, — но многие аспекты повседневной жизни невозможно оценить количественно, а многие количественные оценки являются грубыми приближениями к реальности».

Снежный ком.

Мы уже настолько привыкли принимать решения на основе рекомендаций от алгоритмов, что нередко делаем это неосознанно, и в этом кроется настоящая проблема. Пока неточности касаются бытовых покупок и рекламы, технологии не так уж сильно влияют на нашу обыденность, но если они призваны принимать важные решения, то ошибки, возможные вследствие игнорирования пусть единичных, но важных факторов, могут вылиться в катастрофу.

«Например, приложения для знакомств изменили то, как мы ищем партнёра, сделав акцент на поддающихся количественному измерению аспектах нашей жизни, которые, — акцентируют внимание авторы работы, — определяют систему приоритетов, отображающую самых популярных пользователей этих приложений».

Более того, нужно учитывать, что данные, образно говоря, не являются нейтральными. Впитав оценочные приоритеты общества, «предубеждённые» алгоритмы могут воспроизводить или даже усиливать существующие в социуме предрассудки только потому, что они не представляют интересы уязвимых групп. Потенциально эта проблема будет нарастать как снежный ком, попутно усугубляясь отсутствием мер по регулированию использования существующих нейро-решений, непрозрачных для понимания в своей основе.

Анализ романа «QualityLand» наводит профессора Розалес на мысль о том, что чем дальше, тем всё более знакомым выглядит представленный в нём мир. Всё более наглядными для нас становятся описанные автором неприятности, сулящие настоящие бедствия: угрозы свободам и их ущемление; недоверие к цифровизации и принуждение к ней; преобладающий технооптимизм (безоглядный и потому сомнительный); и, наконец, усталость, вызванная гиперинформатизацией.

Неуместный человек.

Петя Безработный (Peter Jobless)— главный герой «Страны качества» — ведёт знакомую многим из нас жизнь: интернет-магазин точно знает, чего Петя захочет, и (в отличие от нашей реальности) отправляет ему товар ещё до того, как сам клиент подумает, что хочет именно этого. Также он пользуется платформой, которая находит для него подходящего партнёра, и постоянно получает оценки за свои действия в цифровом мире. Он пользуется приложениями TheShop (Магазин), QualityPartner (Качественный Партнёр) и RateMe (Оцени Меня), названия которых мы можем легко заменить на существующие в нашей реальности маркетплейсы, ресурсы для профессиональных и личных знакомств и практически любые соцсети.

В изображаемом мире мнение персонажа ужене имеет большого значения, поскольку сервисы, имея доступ ко всем аспектам его жизни (и даже к его подсознанию) знают его лучше, чем он сам. Тем не менее Пётр чувствует, что что-то не так, что он не участвует в собственной жизни. Он оторван от друзей, партнёра и объектов, которых выбрали за для машины.

«Проблема Питера, — поясняет Розалес, — в том, что он пытается вписаться в систему, управляемую данными, которых он не понимает».

Авторы исследования считают, что у чувства отрешённости героя есть свой источник — это «слепые зоны» данных, благодаря которым обрабатывающие их нейромодели могут содержать предубеждения, допускать ошибки или просто фиксировать только некоторые аспекты реальности, игнорируя другие. И вроде бы понимание этого аспекта многое ставит на места, заставляя нас использовать свободу выбора (соглашаться на предложения алгоритма или нет — всё-таки зависит от нас), однако тут возникает то, что в романе названо «проблемой Питера». Когда системы допускают ошибки, они «не понимают», что ошиблись. Это выглядит так, будто они предполагают пользователя источником проблемы, в то время как категоричность «суждений» нейромодели сама по себе обусловливает появление неточностей в итогах вычислении. Граничащие друг с другом тенденции теряют менее актуализированные связи будто их и не было вовсе. Выигрывают только самые сильные и популярные связки переменных, что, с одной стороны, выдаёт наиболее популярные и статистически верные решения, а с другой — не такие точные, как могло бы быть.

Принудительная угроза.

На фоне этого «принудительная цифровизация» выглядит одной из самых больших проблем современности. Обязательное использование цифровых технологий означает отсутствие альтернатив реализации того или иного действия. Так, персонажи романа вынуждены делать всё в цифровом мире как раз потому, что у них нет выбора, отсутствие которого даёт правительству и технологическим компаниям ещё больший контроль над их жизнью. По словам Андреа Розалес, это как раз то, что мы видим в реальном мире каждый день: всё чаще можно встретить государственные учреждения, где количество очных встреч ограничено, а доступ к некоторой информации возможен только через интернет.

Примеров принудительной цифровизации много. Это и предписание бизнесу обращаться в госорганы с документами только в электронной форме и запретом на любые другие, и «цифровая инфраструктура» ЖКХ, и проект «Цифровая образовательная среда», и обязательное связывание вашего стороннего аккаунта какого-либо ресурса с аккаунтом портала госуслуг.

Конечно, информационные технологии значительно ускоряют проведение множества типовых операций, способствует безопасности и упрощает документооборот, но отсутствие альтернативы цифровому формату приводит к изоляции или зависимости целых групп населения. Причины тому могут быть различными — от ограниченных технических знаний и материального положения до сложности устройства «цифровой бюрократии».

«Законы не могут справиться со всеми социальными и политическими проблемами, которые они создают, — констатирует профессор. — Но помимо необъективных данных и неточных прогнозов, информатизация повседневной жизни влияет на повседневную жизнь людей, на то, как они взаимодействуют и являются частью общества».

Технооптимизм.

Поверхностный подход ко внедрению ИТ-решений в сферу взаимоотношений гражданина и государства настолько вреден, насколько только можно представить. Это опровергает идею о том, что технологии всегда будут облегчать наше бытие. Даже если речь идёт о простом предоставлении более широкого выбора, мы можем столкнуться с новыми проблемами в виде отсутствия самостоятельности, растущего неравенства и рисков злоупотребления данными.

Доверите ли вы человеку принять решение за вас при том, что вы не знаете его склонностей, ориентиров, хода мыслей и логики рассуждений? Наверное, вряд ли. В нашем мире существует лишь один пример, удостаиваемый такого доверия. Это судья. И то, правду сказать, он является для нас куда меньшей загадкой, чем нейромодель, ведь мы знаем его ориентиры — это буква закона. А вот непрозрачные алгоритмы нам, не сведущим в их внутренних процессах и не видящим оснований для принятых ими решений, почему-то внушают оптимизм. Загадка…

«Эта непрозрачность часто оправдывается коммерческой тайной, мерами безопасности, политикой предотвращения мошенничества или сложностью алгоритмов», — переходит Розалес к следующему интересному выводу исследования о метаморфозах государственности будущего.

Дополненная политика.

В «QualityLand» андроид по имени Джон из Нас (John of Us — возможно, нецензурная идиома) претендует на пост президента страны — его партия считает, что робот заслуживает доверия больше, чем человек, ведь у него крепче знания, больше данных, лучше память и он гораздо менее субъективен при принятии решений. Возникает вопрос: стоит ли нам принять во внимание такую перспективу?

Автор книги, Марк-Уве Клинг, отмечает, что эта идея, названная «дополненной политикой» (видимо, по аналогии с технологией дополненной реальности), нашла поддержку в некоторых научных кругах и крупных технологических компаниях. Тем не менее, исследователи считают, что она создаёт новые угрозы, суля исключение интересов меньшинств из условий и целей в погоне за выгодой для большинства. Вы скажете, это мало чем отличается от сегодняшнего положения вещей, однако более всего вызывает опасения то, что такая «мера справедливости» может стать системой принятия решений, которую очень трудно привлечь к ответственности, а значит, трудно корректировать и управлять ею.

«В «Стране Качества» граждане теряют контроль над данными и над тем, как они используются для принятия важных решений, которые влияют на их основные права и свободы», — раскрывает риски Розалес.

Опираясь на научно-фантастический сюжет и гиперболизированное представление о повседневных автоматизированных системах принятия решений, «Страна качества» побуждает задуматься о персонализации проблем, связанных с этими системами. Нам необходимо снять розовые очки и взять на вооружение критические представления об автоматизированном будущем. Работа по защите наиболее уязвимых слоёв населения и поиск моделей, в которых правительство сохраняет свою независимость от крупных технологических компаний, — вот два шага, которые, по мнению исследователя, необходимы для защиты самостоятельности и основных прав и свобод человека в новых технологических реалиях.

АРМК, по материалам UOC.