было довольно творческое понимание свободы. Лумис был волен подвергнуть алгоритм сомнению точно так же, как Иов был волен подвергнуть сомнению справедливость Иеговы.

Другой, более свежий случай произошел с Дарнеллом Гейтсом, жителем Филадельфии, который в 2020 году проходил испытательный срок после отбывания наказания в тюрьме. Он заметил, что частота его обязательных визитов к надзирателю меняется от месяца к месяцу, но ему никогда не говорили, что это происходит потому, что алгоритм постоянно оценивает степень его риска. Возможно, он никогда бы не узнал об этом, если бы журналист New York Times, освещавший эту технологию, не сообщил ему об этом. Гейтс был явно обеспокоен этим открытием. В интервью газете Times он, похоже, осознал теневую грань между предсказанием и решимостью - и невозможность перехитрить игру, в которой все ставки против вас. "Как он собирается понять меня, ведь он диктует мне все, что я должен делать?" - сказал он об алгоритме. "Как выиграть у компьютера, который создан для того, чтобы остановить вас? Как остановить то, что предопределяет вашу судьбу?"

Хотя эти непрозрачные технологии подвергаются нападкам со стороны организаций по защите гражданских прав, их защитники часто указывают на то, что человеческие суждения не более прозрачны. Спросите судью, как она пришла к тому или иному решению, и ее ответ будет не более достоверным, чем ответ алгоритма. Человеческий мозг - это тоже "черный ящик", - говорит Ричард Берк, профессор криминологии и статистики в Пенсильванском университете. Тот же вывод был сделан в статье, подготовленной корпорацией Rand, где отмечалось: "Мыслительные процессы судей - это (как и КОМПАС) черный ящик, который выдает непоследовательные решения, склонные к ошибкам". Эти аргументы часто приводят те, кто заинтересован в технологии, хотя их подкрепляет неврологический консенсус, согласно которому у нас нет "привилегированного доступа", как выражается Дэниел Деннетт, к нашему собственному мыслительному процессу. Логическим завершением "черного ящика" человеческого сознания является то, что доверять непрозрачной логике алгоритма теперь представляется столь же разумным, как и доверять собственному разуму.

Но эта защита поразительно уклончива и по другим причинам. Мы доверяем объяснениям других людей, потому что мы эволюционировали как вид, чтобы иметь схожие методы рассуждения. Даже если речь идет об интуиции или догадках, мы можем предположить, что они относятся к сфере человеческих мыслительных процессов. Машины, напротив, делают выводы, совершенно не похожие на человеческий разум - этот факт запомнился бывшему чемпиону по игре в го, который воскликнул о стратегии AlphaGo: "Это не человеческий ход". Многие исследователи в области глубокого обучения называют алгоритмы формой "инопланетного" интеллекта. Когда модели глубокого обучения учат играть в видеоигры, они придумывают хитроумные способы обмана, которые не приходят в голову человеку: используют ошибки в коде, позволяющие им набирать очки, или доводят противников до самоубийства. Когда Facebook научил две сети общаться, не уточняя, что разговор должен вестись на английском, алгоритмы придумали свой собственный язык. В 2003 году Ник Бостром предупредил, что между интеллектом и человеческими ценностями нет врожденной связи. Сверхразумная система может привести к катастрофическим последствиям, даже если у нее нейтральная цель и отсутствует самосознание. "Мы не можем легкомысленно полагать, - писал Бостром, - что сверхразум обязательно будет разделять какие-либо конечные ценности, стереотипно ассоциирующиеся с мудростью и интеллектуальным развитием человека: научное любопытство, благожелательное отношение к другим, духовное просвещение и созерцание, отказ от материального приобретения, вкус к изысканной культуре или к простым удовольствиям жизни, смирение и самоотверженность и так далее".

Однако среди приверженцев глубокого обучения именно причудливый интеллект является целью. "У нас уже есть люди, которые могут думать как люди", - говорит Янн ЛеКун, глава исследовательского подразделения Facebook по ИИ. "Возможно, ценность умных машин в том, что они совершенно чужды нам". Дэвид Уайнбергер также утверждает, что в случае с глубоким обучением "чужое" не означает "неправильное". "Когда дело доходит до понимания того, как обстоят дела, - пишет он, - машины могут быть ближе к истине, чем мы, люди, когда-либо могли бы быть". Многие специалисты в этой области не хотят делать технологию более прозрачной, даже если бы это было возможно. Согласно одной из теорий, чем меньше мы будем вмешиваться в алгоритмы, тем точнее будут результаты. Если среди технологической элиты и существует герменевтика, то это марка sola fide и sola scriptura, убежденность в том, что алгоритмические откровения совершенны и что любая интерпретация или вмешательство человека рискуют подорвать их авторитет. "Бог - это машина", - говорит исследователь Юре Лесковец, резюмируя консенсус в своей области. "Черный ящик" - это истина. Если он работает, значит, он работает. Мы даже не должны пытаться понять, что выдает машина".

Во время расцвета увлечения глубоким обучением трудно было прочитать статью об этих технологиях, не наткнувшись на религиозную метафору. "Подобно богам, эти математические модели были непрозрачны, их работа была невидима для всех, кроме высших жрецов в своей области: математиков и компьютерных ученых", - пишет специалист по изучению данных Кэти О'Нил, вспоминая появление этих алгоритмов. "Их вердикты, даже если они были ошибочными или вредными, не подлежали оспариванию или обжалованию". В своей книге "Homo Deus" Юваль Ной Харари проводит практически ту же аналогию: "Как, согласно христианству, мы, люди, не можем понять Бога и Его замысел, так и датаизм заявляет, что человеческий мозг не в состоянии постичь новые главные алгоритмы". Термин "главный алгоритм" - это аллюзия на работу Педро Домингоса, одного из ведущих экспертов в области машинного обучения, который утверждает, что эти алгоритмы неизбежно превратятся в единую систему совершенного понимания - своего рода оракул, к которому мы сможем обращаться практически по любому поводу, что приведет к завершению видения Бридла о новой темной эпохе. В своей книге "Мастер-алгоритм" Домингос отвергает опасения по поводу этой технологии, апеллируя к нашему зачарованному прошлому. "По сути, мы всегда жили в мире, который понимали лишь отчасти", - пишет он. "Вопреки тому, во что нам хочется верить сегодня, люди довольно легко подчиняются другим, а любой достаточно развитый ИИ неотличим от Бога. Люди не обязательно будут возражать против того, чтобы получать приказы от какого-то огромного оракульного компьютера".

 

-

"ИИ начался с древнего желания выковать богов", - пишет Памела Маккордак в своей книге 1979 года "Машины, которые думают" - отголосок афоризма Вольтера о том, что если бы Бога не существовало, то человечество сочло бы необходимым его изобрести. Конечно, мы всегда изобретали и изобретали Бога, но не через науку, а через теологию, и божественность каждой эпохи раскрывает потребности и желания ее