Как его предотвратить? Мы можем надеяться, что второй шаг окажется неудачным — что мы уже нашли все структурные упрощения для повышения эффективности алгоритмов, а оставшиеся не будут иметь существенного значения. Но мало кто из инженеров-электротехников или программистов готов заявить, что исследования в их областях себя исчерпали.

Третий шаг дает своеобразную контрольную точку. Практически нет систем ИИ, которые применялись бы для разработки новых вычислительных устройств и алгоритмов. Напротив, эти системы применяются к таким задачам, как логистика, планирование, управление роботами, медицинская диагностика, распознавание лиц и т. д. Здесь нет риска цепной реакции. Мы могли бы продумать меры регулирования исследований для третьего шага. Нечто подобное уже предлагалось для синтетической биологии. Но пока никакие правила не утверждены, кроме того, будет сложно контролировать их исполнение.

Я думаю, нам нужно сосредоточиться на четвертом шаге. Мы будем должны ограничить ресурсы, которые автоматическая система проектирования и производства может предоставить созданным ею устройствам. Некоторые утверждают, что это сделать сложно, потому что «хитрая» система убедит людей дать ей больше ресурсов. Из таких сценариев получается отличная научная фантастика, но на практике ограничить объем ресурсов, доступных для использования системой, довольно просто. Инженеры делают это каждый день, когда тестируют новые устройства и алгоритмы.

У шагов с первого по третий есть потенциал для существенного развития научного знания и вычислительно-мыслительных возможностей, что принесет человечеству огромную пользу. Но важно, чтобы мы, люди, поняли, в чем состоят эти знания и возможности, прежде чем выделять на них значительные объемы ресурсов. Нельзя предоставлять автономию системам, которых мы не понимаем и которые не можем контролировать.

Мэттью Либерман

Профессор психологии, психиатрии и поведенческих наук Калифорнийского университета в Лос-Анджелесе; автор книги «Социальное: Почему в наши мозги зашито взаимодействие» (Social: Why Our Brains Are Wired to Connect)

Машины когда-нибудь смогут мыслить? Если да, то стоит ли нам волноваться по поводу появления шварцнеггероподобных роботов, планирующих стереть человечество с лица Земли, потому что их совершенный механизм принятия решений сделал такой выбор? Я очень люблю научную фантастику, но меня не сильно беспокоит подобный сценарий роботизированного апокалипсиса. Меня больше беспокоит то, что вкладывается в понятие о мышлении машины. Я бы сказал, что либо мы уже много веков строим мыслящие машины, либо их создание вообще маловероятно. Все сводится к тому, как мы определяем мышление: от третьего лица или от первого лица. Мышление есть нечто, обнаруживаемое нами в таких системах, как люди или машины (но не сэндвичи с ветчиной), снаружи, на основании их поведения, или же мышление есть нечто, о чем мы знаем изнутри, потому что оно нами ощущается?

Согласно стандартному определению мышления, оно включает ввод информации, ее обработку, трансформацию либо интеграцию в какой-либо полезный вывод или результат. Решение математических уравнений — один из простейших видов мышления. Если вы видите три одинаковых предмета и еще четыре таких же, вы делаете вывод, что всего их семь, — таким образом вы совершаете небольшой акт математического мышления. То же самое делал первый механический калькулятор Паскаля в 1642 году. Этим калькуляторам нужен был человек, чтобы ввести числа 3 и 4, но дальше машина уже сама осуществляла их интеграцию, чтобы получить 7. Сегодня мы можем отказаться от услуг посредника, построив компьютер, имеющий зрительные сенсоры и программное обеспечение для распознавания предметов. Такой компьютер легко обнаружит наши три предмета и еще четыре предмета, а потом самостоятельно выполнит сложение.

Это будет мыслящая машина? Если да, то вам, вероятно, придется признать, что большая часть ваших внутренних органов тоже обладает мышлением. Ваши почки, селезенка и кишечник тоже получают определенные входные данные, которые можно назвать информацией, и трансформируют их в выходные данные. Даже ваш мозг, если рассматривать его от третьего лица, строго говоря, не работает с информацией. Его валюта — электрические и химические сигналы, которые нейрофизиологи усердно пытаются перевести в понятия информативности. Если паттерн электрохимической активности X распространяется в мозге, когда мы думаем про «три», становится ли X в каком-то смысле тождественным цифре? Это просто близкая эквивалентность, которой мы, ученые, пользуемся. Электрические импульсы в мозге имеют не больше сходства с «информацией» или «мышлением», чем то, что происходит в наших почках, калькуляторах или любых других физических системах, которые преобразуют ввод в определенный вывод. Мы вправе, если угодно, назвать такого рода процессы «мышлением», но тогда это будет мышлением от третьего лица — мышлением, определяемым снаружи, и оно встречается куда чаще, чем нам хотелось бы. Конечно, характер изменения информации человеком или компьютером может быть намного сложнее, чем другие встречающиеся в природе формы мышления, но я не убежден, глядя со своей позиции третьего лица, что у них есть качественные отличия.

Так что же, люди мыслят только в наиболее тривиальном смысле слова? Если говорить от третьего лица, то я бы сказал, что да. Если говорить от первого лица, у истории будет другая концовка. Примерно в то время, когда Паскаль создавал искусственные мыслящие машины, Декарт сформулировал свое знаменитое «Cogito ergo sum» (списав это с сочинений Святого Августина, созданных на тысячу лет раньше). Не думаю, что Декарт был полностью прав, но с некоторыми изменениями из его фразы — своего рода философской наклейки на заднее стекло автомобиля — можно вывести утверждение, и верное, и уместное для рассуждений о мыслящих машинах.

Фраза «мыслю, следовательно, существую» отдает хвастовством, а вот «мыслю, следовательно, мышление существует» — совершенно обоснованное утверждение. Когда я складываю 2 и 3, я переживаю сознательный опыт этого действия — опыт, который отличается от моих ощущений, когда я погружен в просмотр фильма или когда меня захлестывают эмоции. Я воспринимаю определенные переживания как мышление, и они часто возникают, когда мне нужно решить математическую задачу, логическую головоломку или сделать выбор, взять ли одну зефирку или подождать, пока дадут две[95].

Может показаться, что ощущение мышления непоследовательно, что оно ничего не добавляет к его вычислительному аспекту — нервным импульсам, на которых основана трансформация входных данных в выходные. Но задумайтесь вот о чем: бесчисленное множество предметов в физическом мире, по-видимому, трансформируют то, что можно назвать входящей информацией, в то, что можно назвать выходящей информацией. Однако, насколько нам известно, у людей (и только у людей) с этим связаны некие переживания. Они-то и есть мышление от первого лица, и путать его с мышлением от третьего лица недопустимо.