когда идеал существует хотя бы в принципе, и когда он вообще не существует и не может существовать. Пример первой ситуации - отношение к автомобилю, управляемому ИИ. Такой автомобиль намного безопаснее обычного, но некоторые готовы примириться с ним лишь при абсолютной гарантии безопасности. Которой быть не может, хотя бы потому, что человек может броситься под колеса или отправить туда ближнего своего. Чего не сделаешь, чтобы доказать, что робоавтомобиль опасен.

Конструируя ситуации, которые должны по их замыслу испугать, авторы иногда нарушают логику. Например, пишут: "Если полицейские отряды, состоящие из людей, могут отказаться выполнять какие-то драконовские директивы (например, убивать всех представителей определенной демографической группы), то такая автоматизированная система не поддастся никаким угрызениям по поводу проведения в жизнь любых капризов вышестоящих человеческих существ". Имея в виду попугать машинами, автор проговорился - "капризы человеческих существ". Кроме того, мы видим - есть миллионы людей, которые прекрасно "не поддаются угрызениям".

Вот еще пример ситуации, предложенной мне одним из оппонентов (текста нет в интернете и автора не называю). "Человек садится в свое беспилотное авто, говорит адрес, машина блокирует ручное управление и двери и привозит человека в полицейский участок. Почему? Потому, что адрес - вблизи места сбора митинга оппозиции. Или ИИ, зная, что по адресу будет такой митинг и, зная, чем он может закончиться, заботится о безопасности хозяина (в строгом соответствии с законами роботехники Азимова) и в полицию не повезет, а просто увезет хозяина из города и не выпустит пока митинг не закончится. Такая вот этика и гуманизм ИИ".

Автор ситуации не обратил внимания на более простые решения. Не тратить бензин, а просто запереть и стоять на месте, или запереть в их машинах всех, кто собирался приехать на митинг. Или - беречь так беречь! - запереть всех в домах. Вот в мире каких кошмарных фантазий живут некоторые; отнеситесь к ним с пониманием и сочувствием. Обратите внимание - эти кошмарики сконструировали умные люди, причем сконструировали именно на базе знания людей, знания нашей человеческой истории.

Вот еще одна страшилка "от оппонента" (текста нет в интернете и автора не называю).

"Родителям ребенка с диагнозом "дебилия" предлагают вживить что-то ему в мозг. Они согласны. Ребенок становится первым учеником, победителем олимпиад, пишет стихи и рисует картины, сочиняет музыку, играет на инструментах, знает несколько языков, поступает в университет. Родители в восторге, но это - не их ребенок, тело их ребенка стало аватаром ИИ. Чип в мозгу - только средство связи. А сам мозг только управляет физиологическими функциями". Идея сама по себе интересная, и людям когда-то надо будет решать, реализовать ли ее и в какой мере. Можно, конечно, вместо решения - пугаться; но это проблема человека, а не ИИ.

Ненадежны могут быть не только беспилотные автомобили и промышленные роботы. Любая программа может выдать неправильные цифры - из-за ошибок, сделанных ее автором, ошибок других программ и сбоев железа. Мы привыкли к этому, и как-то научились с этим умеренно справляться, хотя самолеты иногда перепутывают верх и низ. Но перепутывает и человек - была версия, что однажды хотели сбить своего, чтобы получить casus belli, а по криворукости грохнули чужого. Но программы, на коробке с которой написано ИИ, человек боится больше, и поэтому предъявляет к ней больше требований. И совершенно зря - потому, что он сам ошибается чаще этой программы.

Алгоритм преобразования алгоритма преобразования алгоритма

Иногда в качестве принципиального отличия ИИ от ЕИ говорят, что ИИ "действует по алгоритму". Но нейрон тоже действует по алгоритму, а то, что нейронов у человека много, не делает их менее алгоритмичными. Если мы все-таки свяжем интеллект с количеством нейронов, нам придется отвечать на вопрос - где граница? Если мы осмелимся ответить, компьютерщики предъявят систему, которая не слабее или назовут год, когда сделают это. Если нам скажут, что в компьютере алгоритм не меняется, а в человеке меняется, то мы ответим, что алгоритм в компьютере может изменяться, причем само изменение может быть изменяемым и так далее сколько угодно раз. То есть имеются в виду не последовательные изменения одного алгоритма, а вложенные, то есть на каждом уровне изменяется нижележащий алгоритм.

На аргумент о непредсказуемости происходящего в мозгу человека мы спросим, как вы отличаете непредсказуемость от простого человеческого незнания или от случайных процессов, а в ответ увидим закатываете глаз и услышим произнесение с придыханием "голография" и "квантовые процессы".

Тут ощущается горячее дыхание серьезной проблемы. Проблема вложенных алгоритмов - это часть "проблемы возникновения нового". Когда при усложнении структуры и алгоритмов возникает "новое" и почему? Вот вариант простого и конструктивного ответа - когда мы видим изменение наблюдаемых нами признаков. Когда возникает речь, использование орудий, хранение орудий, изготовление орудий, передача навыков, рисунки на стенах пещер... А на вопрос "почему" у нас нет ответа. Когда мы сможем загрузить в машину времени установку фМРТ, то сможем узнать, какие структуры в мозге работали, когда наш предок делал что-то новое. Такое исследование интересно проделать и в современности, и есть попытки https://www.nkj.ru/news/26522/

ИИ и этика

От ИИ могут требовать решения этических задач, которые не имеют общего решения. Классический пример - "проблема вагонетки"

https://publications.hse.ru/articles/846074095

Решения у подобных задач нет не потому, что мы его не знаем, а потому, что мы знаем их много; причем разные "мы" знают разные решения. Как на персональном уровне, так и на уровне групп (половых, возрастных, населения стран, религиозных групп и т. д.). Содержательный анализ тут:

https://elementy.ru/novosti_nauki/433355/

Более того - индивидуальные мнения могут в некоторых случаях зависеть от многих факторов, о которых мы даже не подозреваем. А на групповом уровне - от деятельности пропаганды, которая, как оказалось, вполне может натравить один народ на другой. Я имею в виду, разумеется, гитлеровскую Германию.

Человечество имеет опыт таких ситуаций - сначала это межплеменные и религиозные войны, а потом голосования и прочие признаки цивилизации. Хочется надеяться, что опыт цивилизованного решения этических проблем будет людьми расширен. Попутно - чтобы было меньше обиженных, можно ввести компенсации проигравшим за счет выигравших. Причем до голосования выяснять, какую компенсацию победителей к побежденным все в среднем сочтут правильной (например, дневной или недельный доход). Социологи и психологи вполне могут это выяснить.

Проблема "ИИ и этика" может осложняться тем, что для ИИ, как кажется некоторым людям, надо разработать формальное решение, а это воспринимается как посягательства на человеческие прерогативы. Однако мы знаем, что ЕИ может обучаться той или иной этике (в том