Конечно, такие смещения в обучающих данных ИИ отражают предвзятость, господствующую в нашем обществе, но распространение реальных ИИ-систем, обученных на смещенных данных, может усугубить эту предвзятость и нанести серьезный ущерб. Так, алгоритмы распознавания лиц все чаще применяются в качестве “надежного” способа устанавливать личность человека при использовании кредитных карт, на предполетных проверках в аэропортах и в системах видеонаблюдения. Возможно, вскоре их также будут использовать для подтверждения личности при голосовании. Даже небольшие различия в точности между распознаванием людей из разных расовых групп могут сильно ударить по гражданским правам и доступу к жизненно необходимым услугам.

Чтобы сглаживать подобные смещения в конкретных наборах данных, людям необходимо следить за тем, чтобы фотографии (или другие типы данных) равномерно представляли, скажем, расовые или гендерные группы. Но это требует внимания и усилий от тех, кто отвечает за подготовку тренировочных данных. Более того, часто бывает очень сложно искоренить незаметные смещения и их последствия. Например, ученые одной исследовательской группы заметили, что их система ИИ – тренированная на крупном множестве данных, включающем фотографии людей в различной обстановке, – иногда ошибочно принимала мужчину за женщину, если мужчина стоял на кухне, то есть в среде, которая на фотографиях тренировочного множества чаще ассоциировалась с женщинами[143]. Как правило, такие незаметные смещения становятся очевидны постфактум, но их очень сложно предугадать.

Проблема смещений в системах ИИ в последнее время привлекает большое внимание – публикуются статьи, проводятся семинары, даже открываются исследовательские институты, посвященные этой теме. Должны ли наборы данных, используемые для обучения ИИ, точно отражать предрассудки нашего общества – как часто происходит сейчас – или же их следует специально корректировать в соответствии с целями общественного реформирования? И кто должен быть вправе определять цели для корректировки данных?

Помните, как в школе учитель писал красной ручкой: “Где решение?”, проверяя ваше домашнее задание по математике? Мне всегда было скучно расписывать решения математических задач, но для обучения это, пожалуй, было важнее всего, ведь объясняя, как я получила ответ, я показывала: я понимаю, что делаю, применяю необходимые методы и прихожу к ответу в результате верных рассуждений. Кроме того, когда я расписывала решения, мой учитель сразу видел, где я делала ошибки.

В более широком смысле мы часто готовы поверить, что люди понимают, что делают, если они могут объяснить, как именно получают ответ или приходят к определенному выводу. Однако глубокие нейронные сети – краеугольный камень современных систем ИИ – не всегда справляются с “расписыванием решений”. Рассмотрим задачу на распознавание “кошек” и “собак”, которую я описала в главе 4. Как вы помните, сверточная нейронная сеть решает, какой объект запечатлен на входном изображении, выполняя последовательность математических операций (сверток) на многих слоях. Если сеть достаточно велика, ей могут потребоваться миллиарды арифметических операций. Хотя нет ничего сложного в том, чтобы запрограммировать компьютер на распечатку списка всех операций сложения и умножения, выполненных сетью при классификации конкретного входного изображения, такой список не даст человеку никакого представления о том, как сеть пришла к ответу. Человеку не под силу найти ответы на свои вопросы в списке с миллиардом операций. Даже люди, которые обучают глубокие сети, обычно не могут “заглянуть под капот” и объяснить, как эти сети принимают решения. Журнал Technology Review, издаваемый в MIT, назвал их непостижимость “страшной тайной в сердце ИИ”[144]. Высказываются опасения, что раз мы не понимаем, как работают системы ИИ, то не можем в полной мере доверять им и прогнозировать, в каких обстоятельствах они будут совершать ошибки.

Люди тоже не всегда могут объяснить ход своих рассуждений, и обычно невозможно заглянуть человеку в голову (или в “нутро”, которым он что-либо чует), чтобы понять, как именно он пришел к конкретному решению. Но люди, как правило, считают, что другие люди научились справляться с такими базовыми когнитивными задачами, как распознавание объектов и понимание речи. Отчасти вы доверяете другим людям, полагая, что они рассуждают так же, как вы сами. Чаще всего вы полагаете, что другие встречаемые вами люди имеют примерно такой же жизненный опыт, а потому используют те же самые базовые фоновые знания, убеждения и ценности, к которым вы прибегаете, воспринимая и описывая мир, а также принимая решения. Иными словами, когда речь идет о других людях, вы обращаетесь к тому, что психологи называют теорией психики, то есть к своему представлению о знаниях и целях другого человека в конкретных ситуациях. Никто из нас не обладает подобной “теорией психики” для таких систем ИИ, как нейронные сети, и потому нам сложнее им доверять.

Не стоит удивляться, что сейчас ведутся активные исследования в сфере, которую называют “объяснимым ИИ”, “прозрачным ИИ” или “интерпретируемым машинным обучением”. Исследователи пытаются добиться, чтобы системы ИИ – и особенно глубокие сети – начали объяснять свои решения понятным людям языком. Сегодня появилось несколько любопытных способов визуализации признаков, которые выявляет конкретная сверточная нейронная сеть, и – в некоторых случаях – определения, какие фрагменты входных сигналов в наибольшей степени влияют на выходное решение. Сфера объяснимого ИИ быстро прогрессирует, но система глубокого обучения, способная успешно объяснить свою работу человеческим языком, по-прежнему не создана.

Есть и другой аспект вопроса о надежности ИИ: исследователи выяснили, что людям на удивление просто обманным путем склонять глубокие нейронные сети к ошибкам. Иными словами, если вы хотите обмануть такую систему, способов для этого предостаточно, что не может не настораживать.

Системы ИИ обманывались и раньше. Так, спамеры десятилетиями ведут войну с программами обнаружения нежелательной электронной почты. Но системы глубокого обучения уязвимы для менее очевидных и более опасных атак.

Помните AlexNet, о которой я рассказывала в главе 5? Эта сверточная нейронная сеть победила в конкурсе ImageNet 2012 года и тем самым открыла эру господства сверточных нейронных сетей в современном ИИ. Как вы помните, точность AlexNet (топ-5) на ImageNet составила 85 %, что позволило ей разгромить конкурентов и потрясло специалистов по компьютерному зрению. Однако через год после победы AlexNet Кристиан Сегеди из Google в соавторстве с несколькими коллегами опубликовал научную статью с обтекаемым заголовком “Любопытные свойства нейронных сетей”[145]. Одним из описанных в статье “любопытных свойств” стало то, что AlexNet легко обмануть.