Даже если закон Мура в конечном итоге перестанет действовать для микрочипов, многие из технологических областей, от рабочих частот канала связи до искусственного интеллекта (ИИ) и глубинного обучения, по-прежнему будут расти как минимум экспоненциально и с комбинаторными эффектами – изменения усиливают друг друга186.

Пройдет еще десять лет, и в итоге мы действительно сможем стать на 95 % более автоматизированными, гиперсвязанными, виртуализированными, крайне эффективными – и гораздо менее человечными, чем можно представить себе сегодня. Возникнет общество, которое, не отдавая себе отчета, следует по экспоненциальному пути мегасдвигов (см. главу 3). Общество, которое не останавливается, чтобы оценить последствия для человеческих ценностей, убеждений и этики. Общество, которым управляют технологи, венчурные капиталисты, фондовые рынки и военные. Такое общество, скорее всего, вступит в истинно машинную эпоху.

Так что же такое этика? Если не ограничиваться простым ответом – то, как человек должен жить, – греческое слово «этос» означает обычай и привычку187. Сегодня мы часто используем слово «этика» как синоним или условное обозначение для нравственности, ценностей, предположений, целей и убеждений. Главная задача этики состоит в том, чтобы задаваться вопросом, правильным ли является поступок или нет в каждом конкретном случае. Ваша этика определяет, что вам кажется правильным, и во многих случаях трудно объяснить, почему вы считаете именно так или иначе. Это, безусловно, одна из проблем, которые мешают согласовать даже самые элементарные этические правила для экспоненциальной эпохи, в которую мы вскоре вступим. Тем не менее дальше я попытаюсь сформулировать некоторые этические правила или принципы руководства развитием технологий.

Биоэтик Лэрри Черчилль говорит, что «этика, понимаемая как способность критически осмыслять нравственные ценности и управлять нашими действиями с позиции таких ценностей, является общим потенциалом человечества»189.

Так, если этика означает способность критически осмыслять нравственные ценности и управлять нашими действиями в соответствии с ними и действительно является общим потенциалом человечества, то должны ли мы 1) не надеяться, что машины и компьютеры смогут по-настоящему понять их, или 2) пытаться кодировать какую-то базовую этику в программное обеспечение и научить машины хотя бы немного понимать и уважать их – это тема так называемой машинной этики?190 Это важный вопрос, на который мы здесь постараемся ответить.

Что происходит с нашей этикой, когда машины становятся самообучающимися? Этические вопросы быстро возникают по ходу экспоненциального развития технологий: например, в случае беспилотных автомобилей – кто должен управлять автомобилем, если авария абсолютно неизбежна? Что касается роботов-помощников – что должен делать робот, если пациент отказывается принимать лекарство? Когда машины перестанут следовать предварительно запрограммированным алгоритмам решений и сами начнут узнавать что-то новое, будут ли они также узнавать то, что даже люди не могут выразить и кодифицировать?

Люди не так то просто принимают трудные решения, такие, например, как «если у этой пациентки есть 35 %-ная вероятность возникновения опасной для жизни медицинской проблемы, то она должна принимать эти лекарства, даже если потребуется сила». Поэтому, конечно, люди в подобных ситуациях каждый раз ведут себя по-разному и порой ошибаются. Позволительно ли это было бы для робота, и приемлемо было бы для нас такое его отношение?

В своем рассказе «Хоровод» (1942) писатель-фантаст Айзек Азимов[108] сформулировал три закона робототехники, не слишком популярных в наши дни:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам.

Будут ли эти законы и далее актуальными, или утратят свое значение вместе с появлением самообучающихся машин? Может быть, робот-помощник должен будет причинить вред человеку (хоть и незначительный), потому что другой, имеющий больше полномочий человек (например врач) приказал ему обеспечить прием лекарств. Как робот узнает, с чего начать и в какой момент остановиться? Будет ли программа блокировать холодильник, если мы будем придерживаться строгой диеты? Отключит ли она телефон и интернет, чтобы мы не заказывали пиццу? Будет ли наблюдать за туалетом, чтобы выявить признаки незапланированного потребления?

В этом контексте довольно очевидно, что ни один искусственный интеллект никогда не станет по-настоящему умным без этической управленческой модели, потому что без нее ИИ, вероятнее всего, упустит несколько последних частичек этической головоломки, о которых знают люди, и поэтому будет терпеть неудачу в самые важные моменты. Представьте себе ИИ, который управляет вашим автономным транспортным средством, не зная, в каких случаях можно и когда нельзя убить животное, переходящее через дорогу.

Тем не менее, даже если мы должны были сделать роботов умными в плане обучения и принятия решений, основанных на собственном опыте, сегодня они все еще близки к нулю в плане эмоционального и социального интеллекта – два термина, которые сами по себе очень трудно объяснить или даже измерить.

Проблема обучаемых машин – одна из самых важных для меня, когда дело касается этики. Глубинное обучение – это область ИИ, которая получала наибольшие инвестиции с 2015191 года, и, скорее всего, эта тенденция сохранится в ближайшие несколько лет. Мы вряд ли застанем еще одну «зиму» ИИ, когда инвесторы вновь заморозят финансирование проектов ИИ из-за того, что они получили меньше, чем ожидали.

Только представьте себе, что будет, если (когда?) бесконечно мощные машины и суперкомпьютеры смогут научиться решать практически любую проблему, основываясь только на огромном потоке реальных данных, т. е. без каких-либо предварительных команд или программирования. Победа AlphaGo от Google DeepMind, обсуждавшаяся ранее, является наглядным примером таких возможностей обучения в действии192.

Благодаря глубинному обучению мощные машины смогут обнаружить основополагающие рекомендации, принципы и правила, и поэтому смогут понять их и, возможно, даже подражать им. Однако, если это суждено стать следующим важным событием в компьютерной сфере (как американская компания IBM любит говорить, «когнитивных вычислениях»), мы, простые люди, не сможем оценить, правильные ли рекомендации дает нам ИИ или нет, потому что вычислительные возможности машин значительно превысят наши собственные. Действительно злободневная проблема: если мы изобретаем машины, которые на несколько порядков превосходят наши собственные возможности, с IQ 50 000 и выше, как мы поймем, что им можно доверять? И кто может их контролировать? Станут ли они в конце концов разумными в новом понимании? Должны ли мы встраивать в них ряд желательных этических норм, и как это возможно?