Могут ли быть цели у машин? Этот простой вопрос вызвал горячие споры, потому что люди вкладывают в него слишком разные смыслы, касающиеся весьма колючих тем — например, таких: могут ли машины думать? могут ли у них быть чувства? А если сформулировать вопрос проще: «Могут ли машины демонстрировать целенаправленное поведение?», — тогда ответ становится очевидным: «Конечно могут, так как мы можем их такими разработать!». Мы можем разработать мышеловку, которая будет иметь цель ловить мышей, посудомоечную машину, у которой будет цель мыть посуду, или часы, целью которых будет показывать время. Когда сталкиваешься с машиной, фактически все, что вас волнует, — это ее очевидная цель: если за вами будет гнаться самонаводящийся по тепловому излучению снаряд, вам в принципе будет все равно, есть ли у него сознание и чувства! Если вам все еще неловко говорить, что у снаряда есть цель, даже если она не осознанная, на данный момент можно просто вместо написанного мною слова «цель» читать «предназначение» — мы вернемся к вопросу об осознании в следующей главе.

Все нами до сих пор построенное демонстрирует только целенаправленный проект, но не целенаправленное поведение: скоростное шоссе никак себя не ведет, оно просто есть. Однако наиболее экономичным объяснением его существования будет такое: оно спроектировано, чтобы достичь некой цели, так что даже такая пассивная технология делает нашу Вселенную более целенаправленной. Телеология предлагает для всякой вещи объяснение с точки зрения ее предназначения, а не ее причин, так что мы можем подытожить первую половину этой главы, сказав, что наша Вселенная становится более телеологической.

У неживой материи не только могут быть цели, по крайней мере в этом слабом смысле, но они определенно у нее есть. Если наблюдать за атомами Земли с момента образования нашей планеты, можно было бы увидеть три стадии целенаправленного поведения.

Табл. 7.1 показывает доминирование человечества в физическом отношении: на нас теперь не только приходится больше вещества, чем на всех остальные млекопитающих, за исключением коров (которые столь многочисленны потому, что используются для достижения наших целей — потребления говядины и молочных продуктов), но и количество вещества, использованного для наших машин, дорог, зданий и других разработанных проектов, скоро, вероятно, превысит массу всех живых существ на Земле. Другими словами, даже без интеллектуального взрыва наибольшее количество вещества на Земле, демонстрирующего целенаправленные свойства, может в скором времени оказаться созданным искусственно, а не быть результатом эволюционного развития.

Этот новый, третий вид целенаправленного поведения может стать намного более разнообразным, чем все предшествующие: в то время как у всякой сущности, возникшей в результате эволюции, есть только одна основная цель (репликация), у искусственно созданных сущностей могут быть любые основные цели, даже противоположные друг другу. Печь нужна, чтобы нагреть пищу, а холодильник — чтобы охладить. Электрогенератор превращает механическое движение в электричество, а электромотор превращает электричество в механическое движение. Стандартная программа по игре в шахматы старается выиграть, но есть и такие, которые участвуют в соревнованиях по поддавкам.

Таблица 7.1.

Примерное количество вещества на Земле в сущностях, которые возникли эволюционно или созданы искусственно для определенных целей. Искусственно созданные сущности, такие как здания, дороги и машины, похоже, скоро перегонят по массе сущности, возникшие в результате эволюции, такие как растения и животные.

Общий исторический тренд таков, что цели искусственно созданных сущностей не только более разнообразны, но и более сложны: наши устройства становятся умнее. У первых искусственно создаваемых нами объектов были простые цели — например, дома строились для того, чтобы нам было тепло, сухо и безопасно. Мы постепенно научились строить объекты с целями посложнее — такие, как роботизированные пылесосы, самонаводящиеся ракеты или беспилотные автомобили. Недавний прогресс в разработке искусственного интеллекта дал нам такие системы, как Deep Blue, Watson и AlphaGo, цели которых — выигрывать в шахматы, в викторинах или в го — настолько изощренны, что надо быть весьма просвещенным человеком, чтобы по достоинству оценить, насколько успешны эти системы в их достижении.

Когда мы строим машину, которая должна помогать нам, бывает сложно в полной мере привести ее цели в соответствие с нашими. Например, мышеловка может перепутать палец на нашей ноге с голодным грызуном, и это приведет к довольно болезненным последствиям. Любая машина — агент ограниченной рациональности, и даже самые сложные современные машины не так хорошо понимают мир, как мы, поэтому правила, которые они используют для того, чтобы разобраться, что к чему, зачастую довольно просты. Мышеловка срабатывает с такой неуместной поспешностью, потому что совсем не представляет себе, что такое мышь, много смертей на производствах происходит из-за того, что машины совсем не представляют себе, что такое человек, и компьютеры, которые привели к мгновенному обвалу акций на Уолл-стрит в 2010 году, ни малейшего представления не имели о смысле совершаемых ими действий. Многие из таких проблем с приведением целей в соответствие могут быть решены, если машины станут умнее, но, как мы знаем по опыту Прометея из четвертой главы, даже очень умные машины могут задать непростую задачу, которую необходимо решить, чтобы привести цели машины в соответствие с нашими.

Чем умнее и мощнее становится машина, тем важнее, чтобы ее цели не вступали в противоречие с нашими. Пока машины, которые мы строим, немного туповаты, вопрос не в том, окажутся ли человеческие цели превалирующими в итоге, а только в том, много ли хлопот эти машины доставят человечеству, прежде чем мы приведем в соответствие их цели и наши. Но если сверхразум когда-нибудь появится, роли поменяются: так как разум — это способность достигать поставленных целей, то искусственный сверхинтеллект по определению намного лучше добивается своих, чем люди своих, а значит — в итоге превалирующими будут его цели, а не наши. Образ Прометея дал нам возможность исследовать много примеров тому в главе 4. Если вы хотите прямо сейчас почувствовать, каково это, когда машина встает у вас на пути, просто скачайте ультрасовременный симулятор шахмат и попробуйте с ним сразиться. У вас никогда не получится победить, а ему на смену быстро приходят другие…