Это не станет возвращением к временам Гитлера и Сталина. Цифровые диктатуры будут отличаться от нацистской Германии, как нацистская Германия отличалась от Старого порядка во Франции. Людовик XIV был автократом, стремившимся сосредоточить всю власть в своих руках, но не обладал технологиями построения современного тоталитарного государства. Никакой оппозиции у него не было, но в отсутствие радио, телефона и поездов он практически не контролировал повседневную жизнь людей – не только крестьян в отдаленных деревнях Бретани, но и горожан в самом центре Парижа. У него не было ни желания, ни возможности основать всенародную партию, инициировать общенациональное молодежное движение или ввести систему всеобщего образования[71]. Именно технологии XX века дали Гитлеру стимулы и возможности для таких действий. Мы не в силах предсказать мотивы и возможности цифровых диктатур в 2084 году, но маловероятно, что они будут просто копировать режимы Гитлера или Сталина. Того, кто готовится к повторению битв 1930-х, застигнет врасплох атака совсем с другой стороны.

Даже если демократия сумеет приспособиться и выжить, люди рискуют стать жертвами новых видов угнетения и дискриминации. Уже сегодня банки и госучреждения все чаще используют алгоритмы для анализа данных и принятия решений, связанных с клиентами. Если вы обратитесь в банк за кредитом, ваше заявление, скорее всего, будет обрабатывать алгоритм, а не человек. Алгоритм проанализирует большой массив данных о вас и статистику, отражающую поведение миллионов других людей, а затем решит, достаточно ли вы надежны, чтобы выдать вам кредит. Зачастую алгоритм оказывается эффективнее банкира из плоти и крови. Но проблема в том, что, если алгоритм необоснованно дискриминирует ту или иную группу людей, узнать об этом трудно. Когда банк отказывает вам в кредите, вы спрашиваете: «Почему?» Банк отвечает: «Алгоритм вам отказал». – «Но почему алгоритм мне отказал? Что со мной не так?» – недоумеваете вы, а банк в ответ: «Мы не знаем. Никто не понимает этот алгоритм, потому что он основан на самом современном машинном обучении. Но мы верим ему и не выдадим вам кредит»[72].

Когда ущемляют права целых групп людей, например женщин или чернокожих, они способны организовать протест против коллективной дискриминации. Но если алгоритм дискриминирует лично вас, вы даже не поймете, в чем причина этого. Возможно, алгоритму что-то не понравилось в вашей ДНК, в вашей биографии или на вашей странице в Facebook. Алгоритм дискриминирует вас не потому, что вы женщина или афроамериканец, а потому что вы – это вы. В вас есть нечто такое, что его не устроило. Вы не знаете, что именно, и даже если бы знали, то не смогли бы вместе с другими людьми устроить акцию протеста, потому что больше никто не пострадал от этого же предрассудка. Вы такой один. В XXI веке коллективная дискриминация может смениться индивидуальной[73].

В высших эшелонах власти у нас, скорее всего, останутся люди, номинальные правители, которые будут поддерживать иллюзию, что алгоритмы лишь советники, а верховная власть по-прежнему в руках людей. Мы не станем назначать искусственный интеллект канцлером Германии или гендиректором Google. Но решения, принимаемые и канцлером, и главой корпорации, будет диктовать искусственный интеллект. У канцлера будет выбор из нескольких вариантов, но все они станут результатом анализа больших данных и будут отражать то, как видит мир искусственный интеллект, а не люди.

Приведем такой пример. Сегодня политики во всем мире вольны выбирать ту или иную экономическую стратегию, но почти во всех случаях ее варианты отражают капиталистический взгляд на экономику. У политиков сохраняется иллюзия выбора, но по-настоящему важные решения уже были приняты гораздо раньше – экономистами, банкирами и бизнесменами, которые сформулировали пункты меню. Через несколько десятилетий политики вдруг обнаружат, что выбирают из списка, составленного искусственным интеллектом.

Хорошая новость состоит в том, что, по крайней мере, в ближайшие десятилетия нам не придется иметь дело с полноценным научно-фантастическим кошмаром, в котором искусственный интеллект обретает разум и решает поработить или уничтожить людей. В процессе принятия решений мы все больше будем полагаться на алгоритмы, но сценарий, при котором алгоритмы начнут сознательно манипулировать нами, маловероятен. У них не возникнет сознание.

Научная фантастика обычно путает интеллект с сознанием и предполагает, что для того, чтобы сравняться с человеческим интеллектом или превзойти его, компьютеры должны обладать сознанием. Сюжет почти всех фильмов и романов об искусственном интеллекте вращается вокруг того волшебного момента, когда у компьютера или робота появляется сознание. Затем или главный герой влюбляется в робота, или робот пытается уничтожить человечество, или то и другое происходит одновременно.

Но в реальности нет никаких оснований предполагать, что у искусственного интеллекта появится сознание, поскольку интеллект и сознание – совершенно разные вещи. Интеллект – это способность решать задачи. Сознание – способность чувствовать боль, радость, любовь или гнев. Мы часто путаем эти понятия, потому что у людей и других млекопитающих интеллект неразрывно связан с сознанием. Млекопитающие решают большинство задач посредством чувств. Но у компьютеров совсем другой подход.

К развитому интеллекту ведут разные пути, и лишь немногие из них предполагают появление сознания. Самолеты летают быстрее птиц, но перьев у них нет; точно так же компьютеры решают задачи гораздо лучше, чем млекопитающие, не прибегая к помощи чувств. Конечно, искусственный интеллект должен уметь с высокой точностью анализировать человеческие чувства, чтобы лечить болезни, выявлять террористов, рекомендовать подходящего партнера или ориентироваться на улице, заполненной пешеходами. Но способность чувствовать для этого не нужна. Алгоритму не обязательно испытывать радость, гнев или страх, чтобы распознать отличающиеся друг от друга биохимические паттерны веселой, сердитой или испуганной человекообразной обезьяны.