4. Мы не будем «дополнять» людей, чтобы достичь сверхъестественных способностей, которые устранят четкое различие между человеком и машиной.

5. Мы не должны наделять машины полномочиями расширять свои права и возможности и таким образом избежать контроля со стороны человека.

6. Мы не будем пытаться заменить доверие слежкой при общении и в личных отношениях только из-за того, что технология делает это возможным всегда и везде.

7. Мы не будем планировать, оправдывать или желать тотального контроля из-за предполагаемой потребности в полной безопасности.

8. Мы не позволим ботам, машинам, платформам или другим умным технологиям взять на себя основные демократические функции в нашем обществе, которые все-таки должны выполнять сами люди.

9. Мы не будем пытаться уменьшить или заменить реальную человеческую культуру алгоритмическим, дополненным или виртуальным моделированием.

10. Мы не будем пытаться свести к минимуму человеческие недостатки только для того, чтобы больше соответствовать технологиям.

11. Мы не будем пытаться покончить с ошибками, тайнами, несчастными случаями и случайностями, используя технологии для их прогнозирования или предотвращения, и мы не будем стремиться сделать все явным только из-за того, что технологии это позволяют.

12. Мы не будем создавать, проектировать или распространять какие-либо технологии с главной целью вызвать зависимость от них.

13. Мы не будем требовать, чтобы роботы принимали нравственные решения, или оснащать их так, чтобы они оспаривали наши решения.

14. Мы не будем требовать или ставить условие, чтобы люди также были экспоненциальными по своей природе.

15. Мы не будем путать чистый алгоритм с точной картиной реальной жизни людей («программное обеспечение обманывает мир»), и мы не будем наделять технологии излишней властью, из-за того что они приносят экономические выгоды.

Что касается конкретного вопроса о том, что все становится явным, социальные сети преподают нам хороший урок: вещи, которые раньше были невысказанными и существовали между строк, теперь незаметно оказались в центре внимания и стали очень четко высказаны, а также усилены групповым мышлением. Хотя мое одобрение некоторой группы гражданских прав, политической организации или социальной задачи могло быть явно выражено в прошлом, все же эта информация не была доступной для всех. Теперь, когда все связано, все мои комментарии можно мгновенно увидеть, изучить и собрать вместе.

Производительность не должна ставиться выше человечества

Экспоненциальные технологии быстро делают более эффективным все, что нас окружает. В результате все становится сервисом, все находится в облаке, и теперь все становится умным. Даже у самого глупого компонента аппаратуры будут датчики, вносящие свой вклад в глобальное цунами данных, которые в паре с искусственным интеллектом могут найти решение практически для любой проблемы198.

Давайте представим себе, каким станет мир в 2030 году. Если буквально все будет отслеживаться, измеряться и быть гиперэффективным, то что случится с вещами, которые не так легко поддаются количественной оценке? Как быть с эмоциями, неожиданностью, стеснением, неуверенностью, созерцанием, тайной, ошибками, несчастными случаями, интуицией и другими отличительными чертами человека? Станут ли они нежелательными, потому что алгоритмы и машины идеальны, они запрограммированы, чтобы не допускать ошибок, работать 24/7/365, не иметь профсоюзов и по большому счету делать то, что им говорят? (По крайней мере, те, которых не научат думать самостоятельно…)

Будет ли ускорение темпов технического прогресса означать, что люди, которые проявляют слишком много не считываемых машинами черт, будут считаться пустой тратой времени, или, что еще хуже, их будут считать помехой высокой производительности?

Будем ли мы все больше приспосабливаться и менять свое поведение, чтобы казаться более эффективными или, по крайней мере, притворяться таковыми? Станет ли идея общей эффективности мощным стабилизирующим фактором, заставляющим нас вести себя более единообразно? Отменит ли в конечном итоге одержимость технологией с ее абсолютной эффективностью молчаливое признание человеческой неэффективности и различий? Такое развитие событий часто кажется мне вероятным, даже если это займет больше времени здесь, в Европе, и, возможно, еще больше в отдельной взятой Швейцарии!

Если достижение максимально возможной эффективности будет оставаться главной задачей, то стремительный рост производительности машин в экспоненциальной эпохе означает, что люди в скором времени, вероятно, не будут участвовать вообще ни в чем. Переход от четырех к 128 в масштабе технологии в следующем десятилетии или около того предполагает, что многие задачи могут быть решены в 32 раза быстрее, чем сегодня. Можете ли вы представить себе, что розничная торговля, банковское дело и транспорт станут в 32 раза эффективнее, чем сегодня? Будут ли они в 32 раза дешевле, и если да, то что это будет означать для нашей экономики?

Нам нужно будет быть очень осторожными при принятии решений, основанных исключительно на эффективности, которая почти наверняка приведет к ликвидации рабочих мест для людей, устранит полномочия людей или иным образом заставит их автоматизироваться, уступить и «отречься от престола» (см. главу 4).

Во многих случаях нам, возможно, придется смириться с этими ужасающими недостатками и признать, что они являются просто частью человеческой жизни, даже если создают препятствия для автоматизации. Альтернативой было бы безжалостно обеспечить эффективность и покончить с теми, кто не соблюдает эти правила: если вы хотите увидеть своего врача лично, а не использовать устройство удаленной диагностики, вы заплатите штраф. Если ваш автомобиль не будет постоянно отслеживаться, то это будет означать, что вы потеряете страховое покрытие. Отказ от имплантации чипа будет означать, что вы не сможете работать в этой компании.

В медицинской сфере есть несколько полезных прецедентов для предстоящих споров. Некоторые люди уже давно утверждают, что кесарево сечение более эффективно, чем естественные роды, и поэтому мы должны полностью отказаться от этой привилегии – явный пример того, чтобы поставить эффективность выше человечества199. Наблюдая за экспоненциальной мощью технологий, я догадываюсь, к чему это может привести: экзогенез – беременность вне матки, дети, рожденные в лабораториях.

Эффективно ли отслеживать ваш автомобиль или любые другие транспортные средства 100 % времени по каждому параметру, такому как скорость, направление, ускорение, внутренняя температура и качество наружного воздуха?

Ответ – да. Но послужит ли это цели, достойной человека? Во многих отношениях ответ также утвердительный: использование автономных транспортных средств и анализ данных отслеживания может помочь значительно уменьшить загрязнение окружающей среды и положить конец большинству аварий. Но во многих других отношениях постоянное отслеживание также было бы пагубным, потому что это был бы самый совершенный инструмент наблюдения, когда-либо изобретенный, и он заставил бы нас ежесекундно действовать в соответствии с требованиями.