Если утверждение верно (а мои логика и интуиция его поддерживают), машины «думают», «знают» или «понимают» что-либо только в той мере, в какой это делают их создатели и программисты, когда значение добавляется интенциональным, истолковывающим агентом, обладающим мозгом. Любой «интеллект» у компьютера — это исключительно интеллект работающих с ним людей.

Поэтому я не боюсь, что роботы восстанут или начнут бороться за свои права (если только их защитой не решат заняться заблуждающиеся люди). Означает ли это, что можно не беспокоиться до тех пор, пока кто-то не изобретет компьютер с наноинтенциональностью? К сожалению, нет: существует другая опасность, которая исходит от нашей чрезмерной склонности ошибочно приписывать намерение и понимание неодушевленным предметам («Моей машине не нравится низкооктановое топливо»). Думая так о вычислительных артефактах — компьютерах, смартфонах, системах управления, — мы постепенно передаем им (и тем, кто их контролирует) свою обязанность — информированное, компетентное понимание. Ситуация становится опасной, когда мы охотно и с ленцой уступаем ее бесчисленным кремниевым системам (автомобильным навигаторам, смартфонам, системам электронного голосования), которые не только не задумываются о том, что именно они вычисляют, но даже и не знают об этом. Глобальный финансовый кризис дал нам почувствовать, что может произойти в мире, связанном компьютерами, когда реальная ответственность и реальные компетенции окажутся неблагоразумно свалены на машины.

Я боюсь не успешного восстания искусственных интеллектов, а скорее катастрофического сбоя, вызванного множеством мелких ошибок в кремниевой системе, которую наделили слишком большими полномочиями. Нам все еще далеко до сингулярности, когда компьютеры станут умнее нас, но это не значит, что нам не следует беспокоиться о глобальном сетевом коллапсе. Чтобы сделать первый шаг к предотвращению таких катастроф, нужно перестать перекладывать на компьютеры собственную ответственность и понять и принять простую истину: машины не думают. А то, что мы принимаем за их мышление, становится с каждым днем все опаснее.

Ирэн Пепперберг

Научный сотрудник и преподаватель, кафедра психологии, Гарвардский университет; автор книги «Алекс и я» (Alex & Me)

Машины великолепно справляются с вычислениями, но при этом не очень хорошо — с мышлением как таковым. У машин бесконечный запас упорства и настойчивости, и, как кое-кто говорит, они могут легко разгрызть сложную математическую проблему или помочь вам проехать через пробки в незнакомом городе, но все это — благодаря алгоритмам и программам, созданным людьми. Чего же машинам не хватает?

Машинам не хватает ви́дения (по крайней мере пока, и я не думаю, что наступление сингулярности это изменит). Я имею в виду отнюдь не зрение. Компьютеры не сами придумывают новое приложение, которому суждено стать популярным. Компьютеры не принимают решение исследовать далекие галактики — они прекрасно справятся с задачей, когда мы их туда отправим, но это уже другая история. Компьютеры, конечно, лучше среднестатистического человека работают в области высшей математики и квантовой механики, но у них нет видения, чтобы в принципе обнаружить необходимость в таких действиях. Машины могут выигрывать у людей в шахматы, но они еще не изобрели интеллектуальную игру, что займет человечество на столетия. Машины видят статистические закономерности, которые пропустит мой слабый мозг, но они не в состоянии выдвинуть новую идею, что соединит разрозненные наборы данных и создаст новую область науки.

Я не так уж сильно беспокоюсь по поводу машин, способных вычислять. Я как-нибудь переживу постоянные вылеты браузера, но пусть у меня будет умный холодильник, способный отслеживать RFID-коды лежащих в нем и вынимаемых из него продуктов и посылать мне СМС с напоминанием купить сливки по пути домой (пользуясь случаем, обращаюсь к тем, кто работает над такой системой: поторопитесь!). Мне нравится, когда компьютер подчеркивает незнакомые ему слова, и пусть среди них иногда оказывается какая-нибудь «филогенетика», я могу находить опечатки в общеупотребительных словах (и прямо сейчас он тоже не позволяет мне писать с ошибками). Но эти примеры показывают: само по себе то, что машина демонстрирует нечто похожее на мышление, еще не означает, что она на самом деле мыслит — или, по крайней мере, что она мыслит подобно человеку.

Мне вспоминается одно из самых первых исследований в области обучения обезьян использованию языка — где они должны были манипулировать пластиковыми фишками, чтобы отвечать на разные вопросы. Впоследствии эксперимент повторили со студентами, которые — что неудивительно — исключительно преуспели в освоении системы, но когда их спросили, чем они занимались, те сказали, что решали какие-то интересные головоломки и понятия не имели, что их обучали языку. Последовало широкое обсуждение, и мы многое открыли и многому научились в ходе новых исследований. Несколько особей, не являющихся людьми, смогли понять референтное значение различных символов, пользоваться которыми их учили, и мы многое узнали об интеллекте обезьяны в рамках оригинальной методологии. Смысл этой истории таков: то, что первоначально казалось сложной лингвистической системой, потребовало намного большей подготовки, чем предполагалось изначально, чтобы стать чем-то большим, нежели серия относительно простых парных ассоциаций.

Так что меня беспокоят не мыслящие машины, а самодовольное общество, готовое отказаться от своих мечтателей в обмен на возможность не делать трудную работу. Люди должны воспользоваться собственными познавательными мощностями, которые освободились, когда машины взяли на себя грязную работу, быть благодарными за такую свободу и использовать ее, направляя свои способности на решение сложных насущных проблем, для которых требуется проницательность и пророческое видение.

Николас Хамфри

Почетный профессор психологии Лондонской школы экономики; преподаватель философии, Новый колледж гуманитарных наук; старший член Колледжа Дарвина, Кембриджский университет; автор книги «Сознание: Пыльца души» (Soul Dust: The Magic of Consciousness)[33]

Если я дам вам один цент, вы скажете, о чем задумались? Не обязательно отвечать, смысл сказанного мною заключается в том, что вы как сознательный субъект это можете. Значит, у вас есть доступ к интроспекции. Вы знаете — и можете сказать, — что происходит на сцене в театре вашего разума. А как насчет машин? Если дать мыслящей машине один биткоин, она скажет, о чем задумалась? Никому еще не удалось создать машину, способную на такое. Витгенштейн заметил, что, если бы лев умел говорить, мы бы его не поняли. Если бы компьютер умел говорить, ему нечего было бы сказать. Что я могу сказать о мыслящих машинах? Все просто. Я не думаю, что на данный момент такие машины существуют.