в безоговорочное принятие. Люди не всегда отдают себе отчёт в том, что тот факт, что некоторая система ИИ выиграла в го или шахматы у чемпиона мира, вовсе не значит, что система кредитного скоринга не ошибётся, присваивая клиенту кредитный рейтинг. ИИ очень часто воспринимается людьми как некая универсальная сверхчеловеческая сущность — такое представление активно формируется под влиянием плохого кино и бульварного чтива. В действительности мы имеем дело с разными системами, создававшимися разными командами, обладающими разными свойствами и предназначенными для решения совершенно разных задач, — такое положение дел характерно для эпохи прикладного ИИ.

В своей весьма пессимистичной по духу книге «Искусственная неразумность: как компьютеры неверно понимают мир» (Artificial Unintelligence: How Computers Misunderstand the World)[3187] (в русском переводе заголовок книги звучит как «Искусственный интеллект: пределы возможного»[3188]) профессор Нью-Йоркского университета Мередит Бруссард обращает внимание на опасность техношовинизма — наивной веры в то, что технологии сами по себе могут решить все существующие в обществе проблемы. Такой подход может приводить к формированию специфического «слепого пятна». Качество решений, предлагаемых системами, основанными на машинном обучении, сильно зависит от особенностей данных, на которых эти системы были обучены. При этом сами данные являются продуктом определённых процедур, несущих на себе отпечаток существующих социальных практик. Простой пример — библиотеки научных публикаций. Исследователи, которым не удалось подтвердить свои изначальные гипотезы, часто отказываются от публикации результатов. В итоге в подавляющем большинстве опубликованных работ эксперименты подтверждают гипотезы, хотя в реальных исследованиях это совсем не так. Данные могут содержать намеренные и ненамеренные искажения, распределение данных в базе может отличаться от распределения соответствующих им объектов или явлений реального мира (по самым разным причинам), наконец, данные могут быть просто неполны. Существующие в данных корреляции могут ошибочно интерпретироваться создателями систем ИИ как причинно-следственные связи. Но даже если в процессе создания подобных систем и удастся обойти существующие подводные камни, то неразумное применение плодов «искусственного разума» может привести к нежелательным последствиям.

Бруссард показывает, какие ошибки можно сделать, пытаясь создать систему, предсказывающую вероятность выживания в кораблекрушении на основе сведений о судьбе пассажиров «Титаника», особенно если не вдаваться в содержательный анализ событий, стоящих за этим небольшим массивом данных.

Например, шлюпки с нечётными номерами спасли больше людей, чем шлюпки с чётными номерами. Значит ли это, что для повышения безопасности следует всем спасательным шлюпкам давать нечётные номера? В действительности за этой сухой статистикой скрывается драматическая история. Капитан корабля при организации эвакуации отдал приказ сажать в шлюпки женщин и детей, а затем спускать шлюпки на воду. Офицеры, отвечавшие за эвакуацию, поняли этот приказ по-разному. Первый офицер, который отвечал за спасательные шлюпки на правом борту (с нечётными номерами), подумал, что капитан велел сажать в шлюпки женщин и детей в первую очередь (т. е. мужчин сажали в шлюпки, если поблизости не было женщин и детей). Второй офицер, отвечавший за шлюпки левого борта (с чётными номерами), посчитал, что сажать в шлюпку нужно только женщин и детей. В итоге большинство спасшихся пассажиров «Титаника» покинули корабль на шлюпках правого борта (разумеется, были и иные факторы, повлиявшие на это соотношение)[3189].

Доля выживших пассажиров «Титаника» была существенно выше среди тех, кто путешествовал по более дорогим билетам. Значит ли это, что страховая компания может снизить стоимость страховки для пассажиров, отправляющихся в круиз в каютах первого класса? Ведь данные говорят нам о том, что их шансы погибнуть при кораблекрушении будут ниже.

В общем, не стоит думать, что «умные машины» решат все проблемы человечества самостоятельно — использование продвинутых вычислительных моделей вовсе не является гарантией отсутствия ошибок в результатах, полученных с их помощью. И даже в случае отсутствия ошибок полученные результаты ещё нужно понять и правильно ими распорядиться. В общем-то на эту тему в своё время высказался ещё Чарльз Бэббидж: «Однажды меня спросили [члены парламента]: „Если ввести в машину неправильные числа, она даст верный ответ?“ <…> Я не могу взять в толк, какая мешанина идей должна быть в голове, чтобы спросить такое»[3190].

5. Формирование «токсического цикла». Представим себе систему социального рейтинга, использующую модель машинного обучения для присвоения гражданам определённого балла на основании их поступков. От социального рейтинга может зависеть доступ граждан к государственным сервисам и благам. Проблема заключается в том, что человек, по юности оступившись и получив в некоторый момент плохое значение социального рейтинга, утрачивает доступ к качественному образованию, тем самым уменьшая свои шансы на дальнейшую реабилитацию. Цель системы — корректировать поведение людей в положительную сторону, но вместо этого она может на деле способствовать дальнейшему погружению людей на социальное дно. Хотя такого рода явления существовали и ранее (например, работодатели избегают брать на работу людей с судимостью, тем самым уменьшая их шансы на возвращение к нормальной жизни), использование ИИ может приводить к тиражированию подобных практик. Потенциально это очень опасное свойство такого рода моделей. Хорошей иллюстрацией этого «токсического цикла» является первый эпизод третьего сезона телесериала «Чёрное зеркало», в котором мир будущего основан на системе оценок, которые люди могут ставить друг другу при помощи специального приложения.

7.5 Законодательное регулирование ИИ

Проблемы, описанные О’Нил, периодически привлекают внимание прессы и законодателей. При этом общественную дискуссию и законотворческие инициативы во многом подпитывают те или иные зрелищные демонстрации возможностей современного ИИ. За последние десять лет государственные и международные институты совершили несколько «подходов к снаряду» в области регулирования сферы ИИ, и в некоторых областях им удалось продвинуться от деклараций, напоминающих тосты «за всё хорошее», до конкретных законодательных актов (либо принципиального отказа от регулирования) и зачатков системы международных стандартов. Детальный обзор положения дел в области современной регуляторики в области ИИ потребовал бы увеличения объёма книги ещё на один том, поэтому здесь мы ограничимся упоминанием только некоторых документов и событий в этой области.

Хотя законы, так или иначе затрагивающие сферу ИИ, принимались и раньше[3191], первые попытки систематически подойти к регулированию разработки, внедрения и эксплуатации ИИ-систем относятся к началу 2010-х гг., когда внимание законодателей было привлечено к сфере беспилотного транспорта. Действующее на тот момент законодательство просто не разрешало использовать мобильные автопилоты, что ставило под вопрос дальнейшее развитие этой технологии. В соответствии с Венской конвенцией о дорожном движении 1968 г.[3192], участниками которой, по данным на 2023 г., являются 88 стран мира, одним из основополагающих принципов дорожного движения являлась концепция, согласно которой водитель всегда полностью контролирует и несёт ответственность за поведение транспортного средства. В 2016 г. реформа конвенции позволила использовать автоматизированные