В отличие от предыдущего поколения ИИ, основанных на человеческом понимании реальности, ИИ с машинным обучением моделируют реальность самостоятельно. При этом разработчики не могут попросить ИИ объяснить, чему он научился, как это можно сделать с учеником-человеком. Невозможно узнать, чему именно научился ИИ и как он это сделал, – мы можем лишь наблюдать результаты, которые ИИ выдает после завершения обучения. Это означает, что людям нужно выполнять противоположную работу. Когда ИИ выдает результат, люди должны проверять его, чтобы быть уверенными, что это тот результат, который им нужен.

Иногда ИИ может обнаруживать нечто совершенно неожиданное. Не имея человеческого опыта, ИИ может делать выводы, которые являются истинными, но при этом находятся за границами человеческого понимания. Такие неожиданные открытия ИИ могут ставить людей примерно в то же положение, в каком когда-то оказался Александр Флеминг, первооткрыватель пенициллина, – однажды в его лаборатории плесень случайно заселила чашку Петри, уничтожив болезнетворные бактерии, из чего Флеминг сделал вывод о существовании ранее неизвестного сильнодействующего соединения. Человечество тогда не имело понятия об антибиотиках и не знало, как действует пенициллин. Значение этого открытия трудно переоценить. ИИ делает такие же поразительные открытия, когда находит новые лекарства или новые стратегии победы в игре, – людям при этом остается понять значение этих открытий и интегрировать их в существующее знание.

При этом ИИ не может «осознавать» значение того, что он обнаруживает. На протяжении многих эпох люди переживали уроки, горести и крайности войны, а затем рефлексировали на эти темы – так появились многие величайшие произведения искусства, от «Илиады» Гомера до «Герники» Пикассо. ИИ на это не способен ни с морально-этической, ни с философской точки зрения. Он просто применяет свой метод и выдает результат – банальный или шокирующий, доброкачественный или вредоносный. ИИ не может «почувствовать» себя обязанным «размышлять» о значении своих действий, поскольку он попросту не может мыслить. Поэтому люди должны регулировать и контролировать ИИ.

То, что ИИ неспособен к контекстуализации или человеческой рефлексии, требует особенно пристального внимания к некоторым его недостаткам. Например, известно, что система распознавания изображений Google опознавала изображения людей как животных[29], а животных – как оружия[30]. Эти ошибки любой человек счел бы элементарными, но они ускользнули от внимания ИИ. Зачастую подобные ошибки приходится устранять уже после развертывания систем.

Такие ошибки обусловлены несколькими причинами. Одной из проблем является необъективность данных, используемых для машинного обучения. ИИ не сможет выработать хорошие модели без данных, но критическая проблема заключается в том, насколько эти данные объективны (непредвзяты). Например, системы распознавания лиц часто обучались на наборах данных с непропорционально малым количеством изображений темнокожих людей, что приводило к низкой точности. Имеет значение не только количество, но и охват – неизбежны ошибки, если обучать ИИ на большом количестве очень похожих изображений. Нельзя недооценивать важность обучения маловероятным ситуациям, если они создают высокие риски. Если в наборе данных для обучения автомобилей с автопилотом будет мало таких примеров, как прыжок оленя через дорогу, ИИ не будет знать, как действовать в таких сценариях, – при том что именно в таких случаях он должен работать на пиковом уровне.

Кроме того, необъективность ИИ может быть результатом человеческой предвзятости при подборе обучающих данных. Это может произойти при маркировке выходных данных для контролируемого обучения: если маркировщик допустил ошибку, преднамеренную или нет, ИИ закодирует ее. Другой случай – если разработчик некорректно задает функцию вознаграждения для обучения с подкреплением. Представьте себе шахматный ИИ, обученный на симуляторе, разработчик которого маркировал определенные ходы как предпочтительные. ИИ будет использовать такие ходы, даже если они объективно неудачны.

Конечно, проблема необъективности в технологиях не ограничивается ИИ. Прибор пульсоксиметр, который с начала пандемии COVID-19 стал известен почти каждому, поскольку служит для измерения двух важнейших показателей здоровья – пульса и насыщения кислородом, завышает насыщение кислородом у темнокожих людей. Дело в том, что он ориентируется на степень поглощения света тканями и, считая показатели поглощения светлой кожей «нормальными», фактически предполагает, что показатели поглощения темной кожей «ненормальны». В пульсоксиметре нет ИИ, но даже такой простой прибор необъективен по отношению к значительной части населения. Нам обязательно нужно понимать ошибки ИИ – и не прощать их, а исправлять. Необъективность пронизывает все аспекты человеческого общества, и это серьезная проблема, с которой нужно бороться.

Другой источник ошибочной идентификации – ненадежность ИИ. Рассмотрим случай ошибочного распознавания животного как оружия. Изображение вводит ИИ в заблуждение, потому что оно содержит тонкие характеристики, невидимые для человека, но заметные для ИИ, которые сбивают ИИ с толку. ИИ не обладает «здравым смыслом», он может смешивать два объекта, которые человек различает легко и быстро. Уровень проверки ИИ и режимов его соответствия требованиям на момент подготовки этой книги не особенно высок, поэтому зачастую возникают совершенно неожиданные ошибки. В реальном мире вред, нанесенный неожиданным сбоем ИИ, может быть очень велик, а устранение последствий такого сбоя – слишком трудоемко, поскольку обществу сложнее бороться с тем, чего оно не ожидало.

Ненадежность ИИ отражает недостаток глубины обучения современных ИИ. Зависимости между свойствами входных и выходных данных, получаемые при контролируемом обучении или обучении с подкреплением, значительно отличаются от подлинно человеческого понимания – с его многочисленными уровнями концептуализации и опыта. Ненадежность также отражает факт отсутствия сознания у ИИ. Поскольку ИИ не является разумным, он не знает, чего именно он не знает, и не может избегать ошибок, очевидных для человека. Неспособность ИИ самостоятельно контролировать корректность своей работы говорит о жизненной важности разработки методов тестирования, позволяющих человеку определять пределы возможностей ИИ, анализировать сценарии, предлагаемые ИИ, и предсказывать, когда ИИ может потерпеть неудачу.

Аналогично, жизненно важно создать процедуры оценки того, работает ли ИИ так, как ожидалось. Пока движущей силой ИИ будет машинное обучение, люди по-прежнему не будут знать, чему учится ИИ, и не будут понимать, откуда он знает то, чему научился. Само по себе это нормально – человеческое обучение часто бывает таким же непрозрачным. Художники и спортсмены, писатели и механики, родители и дети – да, собственно, все люди часто действуют интуитивно и не могут сформулировать, что и откуда они знают. Именно поэтому общество разработало для людей множество программ профессиональной сертификации, правила и законы. Аналогичные методы могут быть применены к ИИ, причем общество может разрешить использование ИИ только после того, как создатели продемонстрируют его надежность в процессе тестирования. Поэтому важной задачей общества станет разработка программ «профессиональной сертификации», комплаенса и надзора для ИИ, а также обеспечение необходимой аудиторской экспертизы.