Итак, некоторые игроки имеют определяющее влияние. Их интересы не вполне совпадают, но они разделяют общее стремление сохранить контроль над ИИ-системами по мере роста их возможностей. (Другие цели, в том числе избежать массовой безработицы, являются общими для властей и университетских исследователей, но необязательны для корпораций, рассчитывающих быстро заработать на максимально широком внедрении ИИ.) Скрепить этот общий интерес и прийти к скоординированным усилиям помогают учреждения с организационным потенциалом, которые устраивают различные мероприятия. Помимо профессиональных обществ, способных объединить исследователей ИИ, и Partnership on AI, объединяющего корпорации и некоммерческие организации, традиционными координаторами являются ООН (правительства и исследователи) и Всемирный экономический форум (правительства и корпорации). Кроме того, «Большая семерка» предложила создать Международную экспертную группу по проблемам ИИ, рассчитывая, что она разовьется в аналог Межправительственного совета ООН по борьбе с изменением климата. Многообещающие отчеты множатся как грибы после дождя.

Дает ли вся эта деятельность какие-то надежды на реальный прогресс в области контроля ИИ? Как ни странно, ответ положительный — по крайней мере, прогресс уже заметен. Власти многих стран создают консультативные советы, чтобы способствовать процессу правового регулирования; возможно, самым ярким примером является Высшая экспертная группа по искусственному интеллекту (ЕС). Появляются соглашения, законы и стандарты в таких областях, как конфиденциальность пользователя, обмен данными и предупреждение расовой нетерпимости. Власти и корпорации упорно трудятся над выработкой законов для автомобилей с автопилотом — законов, которые неизбежно приобретут международный характер. Имеется договоренность, что если мы хотим получить ИИ-системы, которым сможем доверять, то решения, предлагаемые ИИ, должны быть объяснимыми, и это уже отчасти реализовано в установлениях Общего регламента по защите данных Европейского союза. В Калифорнии новый закон запрещает ИИ-системам представлять людей в определенных обстоятельствах. Последние два момента — объяснимость и представительство — безусловно, имеют определенные последствия для вопросов безопасности и контроля ИИ.

В настоящее время отсутствуют реализуемые на практике рекомендации, которыми могли бы воспользоваться правительства и другие организации для решения вопросов контроля над ИИ-системами. Такие установления, как «ИИ-системы должны быть надежными и контролируемыми», ничего не дают, поскольку эти понятия пока не имеют точного значения, а также из-за отсутствия общепринятой инженерной методологии обеспечения этой безопасности и контролируемости. Однако будем оптимистами и представим, что всего через несколько лет продуктивность подхода к созданию ИИ на принципе «доказуемой полезности» доказана как математическим анализом, так и практической реализацией в форме полезных приложений. Например, у нас появляются личные цифровые помощники, которым можно доверить пользоваться нашими кредитными картами, фильтровать звонки и электронную почту и управлять нашими финансами, потому что они адаптировались под наши личные предпочтения и знают, когда можно действовать самостоятельно, а когда лучше обратиться за указаниями. Наши автономные автомобили научились хорошим манерам при взаимодействии друг с другом и с водителями, а домашние роботы прекрасно справляются даже с самым невыносимым дошкольником. По счастью, ни одна кошка не была зажарена на ужин и ни разу на торжественном обеде членов Партии зеленых не было подано китовое мясо.

На этом этапе представляется вполне уместным составление шаблонов разработки программного обеспечения, которым должны соответствовать разные типы приложений, чтобы их можно было продавать или подключать к интернету, как сейчас приложения должны пройти ряд программных тестов, прежде чем их пустят в App Store или Google Play. Продавцы программного обеспечения могут предложить собственные шаблоны, если сумеют доказать их соответствие требованиям безопасности и контролируемости (на тот момент уже тщательно проработанным). Будут созданы механизмы информирования о проблемах и обновления программных комплексов, выдающих нежелательное поведение. Тогда будет иметь смысл также разработать профессиональные кодексы поведения, основанные на идее доказуемой безопасности программ ИИ, и интегрировать соответствующие теоремы и методы в программы подготовки мотивированных практиков в области ИИ и машинного обучения.

Для опытного спеца из Кремниевой долины это может звучать довольно наивно. Любого рода регулирование встречает здесь яростное сопротивление. Если мы привыкли к тому, что фармацевтические компании обязаны доказывать безопасность и (благоприятную) эффективность путем клинических испытаний, чтобы получить возможность продавать продукт потребителям, индустрия программного обеспечения следует другому комплексу правил, а именно их пустому множеству. «Компания придурков, потягивающих „Ред булл“»[333] в фирме — разработчике программного обеспечения может выпустить продукт или обновление, которые могут повлиять буквально на миллиарды человек, без какого-либо контроля незаинтересованной стороны.

Однако сфера технологий неизбежно должна будет признать, что от ее продуктов очень многое зависит, следовательно, важно, чтобы они не причиняли вреда. Это значит, что появятся законы, управляющие характером отношений с людьми, запрещающие разработки, которые, скажем, последовательно манипулируют предпочтениями или формируют зависимость. Я не сомневаюсь, что переход от нерегулируемого мира к регулируемому будет болезненным. Будем надеяться, что для преодоления сопротивления профессиональной среды не потребуется катастрофа масштаба Чернобыльской (или хуже).

Регулирование может быть болезненным для разработчиков программного обеспечения, но станет невыносимым для «Доктора Зло», строящего планы по захвату мира в тайном подземном бункере. Без сомнения, криминальный элемент, террористы и некоторые страны могут иметь стимул обойти любые ограничения, налагаемые на устройство разумных машин, чтобы их можно было использовать для контроля оружия или для разработки и осуществления преступных действий. Опасно не столько то, что системы злоумышленников могут оказаться успешными, сколько то, что они могут потерять контроль над плохо разработанными интеллектуальными системами — в особенности получившими вредоносные задачи и доступ к оружию.

Это не причина отказываться от регулирования (в конце концов, у нас есть законы против убийства, хотя они часто нарушаются), однако возникает очень серьезная политическая проблема. Мы уже проигрываем в борьбе с хакерскими программами и киберпреступлениями. (В недавнем отчете даются оценки в более чем 2 млрд потерпевших и около $600 млрд ежегодных потерь[334].) Противостоять вредоносному программному обеспечению в форме высокоинтеллектуальных программ будет намного сложнее.