Зачастую мнения специалистов по диагностике будут казаться ошибочными, однако в более широкой перспективе нам известно, когда мы оцениваем проблему по прошествии какого-то времени, что лучший результат обеспечивается именно связками «человек— компьютер». Иногда в ответ на давление, исходящее от специалистов по оценке, смешанные связки будут действовать таким образом, чтобы их решения отвечали требованиям специалистов по оценке, даже если это не лучшие из возможных решений. В вопросах медицины это выразится в том, что рискованное, но блестящее решение может быть отвергнуто из-за опасений возможных обвинений.

В силу самой их природы решения лучших команд по шахматам «адванс» не поддаются легко воспроизводимым методам суждения и оценки; в противном случае сама машина уже внесла бы подобные суждения в свои алгоритмы. Решения высшего порядка, принимаемые в шахматах «адванс» — опять же в силу их природы,— это исключительно творческие акты. И судя по всему, эти исключительно творческие акты пугают нас, смущают или вызывают в нас чувство дискомфорта. И это означает, что кое-кто из тех, чьи действия не всегда можно оценить, будет способен действовать без особой подотчетности и ответственности.

Выражаясь языком сегодняшних финансовых рынков, многие финансовые операции носят «забалансовый» характер, что означает, что в отношении этих сделок действуют различные требования по представлению отчетности, а сами они многим финансовым регламентам не подчиняются. Иногда этот факт беспокоит или раздражает регулирующие органы и специалистов, и причину их недовольства понять несложно. Однако добиться того, чтобы сделки и позиции отражались на балансовых счетах понятным для оценки образом, не так-то легко. Триллионы долларов открытых позиций по вторичным ценным бумагам и сложные, реализуемые компьютером торговые стратегии не слишком-то вписываются в идею открытости и подотчетности.

Мы будем все больше полагаться на машины в принятии решений по устранению целей в военное время или в вооруженных конфликтах, как это заложено уже сейчас в беспилотные летательные аппараты и системы наблюдения и захвата цели на автоматическое сопровождение на дальних дистанциях. Что это — афганская свадьба или группа боевиков? Что, если вероятность того, что это боевики, составляет 37%, но при этом в наблюдаемой группе присутствуют семь ни в чем не повинных детей? Предоставить машине информацию, необходимую для расчета вероятностей и принятия решений «на месте», нетрудно. Не думаю, что с моральной точки зрения принимаемые машиной решения были бы лучше решений человека, но по крайней мере они были бы лучше с точки зрения командующего состава. Единственный вопрос — когда мы к этому придем. И здесь вновь встает каверзный вопрос: как оценивать ошибки и какие дисциплинарные меры или меры военного трибунала следует в таких случаях применять? Кого считать виноватым? Программистов? Генералов, принявших решение о применении подобных аппаратов? Президента Соединенных Штатов? Насколько ошибка машины отличается от самопроизвольного выстрела, убившего ни в чем не повинное гражданское лицо? Думаю, сильные державы, вроде Соединенных Штатов, будут использовать данные аппараты, не задаваясь подобными вопросами. Ошибки, включая ошибки морального плана, будут не замечаться и прикрываться, и возможно, что никаких действий по их предотвращению предприниматься не будет вовсе.

Мы снова вернулись в пугающий мир, где важные решения принимаются без малейшей степени ответственности и подконтрольности.

В прочих ситуациях мы просто не сможем не делать прямых моральных суждений. Представим для примера, что вы владеете автомобилем, управляемым компьютером. На какие действия он должен быть запрограммирован в случае неизбежной аварийной ситуации? Следует ли ему избежать наезда на детскую коляску, но с риском сбить двух пожилых пешеходов? Должен ли автомобиль быть запрограммирован врезаться с вами в мачту освещения, если вероятность того, что он может сбить пешехода, составляет 0,6? Подобные вопросы наверняка будут обсуждаться в вечерних выпусках новостей. Не думаю, что общественное мнение позволит программируемым автомобилям действовать чрезмерно «эгоистично». Но что, если водитель возьмет на себя управление автомобилем как раз перед тем, как произойдет наезд? Существующая правовая система предоставляет достаточную свободу интерпретации такой ситуации человеком. Следует ли ужесточать нормы права и для водителей-людей? Станет ли моральная оценка вашей автомобильной программы достаточным свидетельством в судебных слушаниях о вашем безответственном вождении? Вероятно, да. Вы сами видите, что многие из сегодняшних моральных критериев меняются.

Суждение о действиях умных машин на основе внешних и далеко не совершенных стандартов приведет к определенным систематическим проблемам. Что делать, когда высококлассная диагностическая команда вынуждена удовлетворять стандартам, установленным уступающим ей в интеллектуальном плане начальником, губернатором или правовой системой?

Все это однажды выяснится. В будущем нас ждут Неподотчетная Команда «Адванс», Ужасающая Команда «Адванс» и Ущербная Команда «Адванс» — причем все три одновременно.

Именно благодаря тому, что внедрение технологий в наши жизни будет сложным и продолжительным процессом, мы и сможем пережить пришествие машин сравнительно легко. А вот если бы технологии механического разума — соответствующие двум столетиям их развития — обрушились на нас в одночасье, это породило бы хаос. Множество людей не смогли бы получить никакую работу, поскольку они не были бы способны управлять высокотехнологичными машинами и им понадобилось бы много времени, чтобы освоиться. Мы сравнительно легко справляемся с современными технологиями потому, что их развитие было постепенным и у нас было время поспевать за ними. Развитие технологий — это здорово, но постепенное их развитие — еще лучше.

Если бы я перенесся в Средние века, да даже в XIX век, от моих знаний и умений мне не было бы никакого проку, и, возможно, я не смог бы даже устроиться на работу. Я не смог бы ни подковать лошадь, ни управлять водоподъемным колесом, ни зажечь лампу на китовом масле, ни провести церковную службу на латыни. Со временем чему-то я бы научился, но это не стало бы легким процессом. Травмы, полученные при работе с ручными инструментами, выводили бы меня из себя, а отсутствие электричества — раздражало. Мне гораздо проще будет обращаться с iPhone 6 или следующим поколением компьютерных программ, и это — несмотря на то, что я бы не сказал, что более-менее хорошо разбираюсь в цифровых технологиях.

Далеко не всем путь в будущее видится пологим и плавным. Существуют и достаточно радикальные концепции того, как именно машинный или искусственный разум преобразит мир. Елиезер Юдковски, известный футуролог и теоретик, предлагает довольно мрачные прогнозы: однажды мы проснемся и узнаем, что какая-то сверхумная машина захватила контроль над миром, как это описано в фильме «Терминатор» с участием Арнольда Шварценеггера. Не исключено, что эта машина уничтожит нас или превратит в рабов. Интересно, что уже в 1909 году в оригинальном для своего времени рассказе «Хозяин Моксона» Амброз Бирс описывает шахматную машину, предположительно убивающую людей.