М. Ф.: Но для сокращения количества рабочих мест специализированных ИИ-систем вполне достаточно. Вы считаете это поводом для беспокойства?

Б. Г.: Да, у нас есть повод для беспокойства, но это более широкая технологическая проблема, чем внедрение ИИ. За ее возникновение ответственны как создатели технологий, так и представители деловых кругов. Помимо вопросов сокращения сотрудников, какой бы интеллектуальной ни была машина, она будет проигрывать квалифицированному работнику, что приведет к падению качества обслуживания клиентов. Именно поэтому я так много говорю о необходимости систем, которые дополняют людей.

М. Ф.: Я считаю, что в данном случае речь идет о столкновении технологий и капитализма.

Б. Г.: Вы совершенно правы!

М. Ф.: Исторически стремление заработать, сокращая расходы, было положительным моментом. Но сейчас нужно что-то менять, пока не началось беспрецедентное вытеснение людей с рабочих мест.

Б. Г.: С этим я полностью согласна. Недавно я говорила об этом в Американской академии наук и искусств, выделяя два ключевых момента. Во-первых, вопрос не в том, какие системы мы можем построить, а в том – какие должны. У создателей технологии всегда есть выбор, даже в капиталистической системе. Во-вторых, в курс computer science следует добавить этику, чтобы студенты думали не только об эффективности и элегантности кода, но и о моральной стороне разработок. На этой встрече я приводила в пример компанию Volvo, конкурентным преимуществом которой стали безопасные автомобили. Нужно сделать так, чтобы конкурентным преимуществом стали системы, которые хорошо работают с людьми. Но для этого инженеры должны сотрудничать с социологами и специалистами по этике.

М. Ф.: Какие еще опасности, на ваш взгляд, в ближайшей перспективе и в будущем несет в себе ИИ?

Б. Г.: Лично у меня есть множество вопросов по поводу возможностей, которые дает ИИ, доступных ему методов и вариантов применения этих методов, а также по поводу дизайна ИИ-систем.

У нас всегда есть выбор. Даже когда речь заходит об оружии. Был выбор и у Илона Маска. Он мог сказать, что в автомобили Tesla встроена система помощи водителю, а не автопилот. Тем более что полноценной машины с автопилотом на самом деле не существует. Люди покупаются на рекламу, верят, что автопилот работает, а затем попадают в аварию.

Мы можем выбирать, что мы поместим в систему, какие требования к ней предъявить, как ее тестировать, проверять и настраивать. Только от нашего выбора зависит, сможем ли мы избежать будущей катастрофы.

В состав проектных групп нужно включать людей, которые будут рассматривать возможные последствия создания различных систем. Я имею в виду юридические и этические последствия и прочие побочные эффекты. Пришло время прекратить развитие технологий по принципу «интересно, смогу ли я создать что-то, что делает вот такую вещь». Нужно думать, как в долгосрочной перспективе то, что мы создаем, повлияет на нашу жизнь. Это социальная проблема.

Поэтому я вела курс «Интеллектуальные системы: проектирование и этические проблемы», а сейчас вместе с коллегами из Гарварда работаю над программой Embedded EthiCS, позволяющей интегрировать преподавание этики в каждый курс computer science.

М. Ф.: Как вы считаете, не слишком ли много внимания уделяется экзистенциальным угрозам? Нужно ли относиться серьезно к проблемам, которые могут появиться только в отдаленном будущем?

Б. Г.: Уже сейчас можно легко создать дрон, несущий на борту оружие. Но я не разделяю экстремального подхода некоторых людей, которые считают, что нужно приостановить все разработки ИИ.

М. Ф.: Вы часто говорите, что у нас есть выбор. Но принимаемые решения в значительной степени обусловлены рыночными стимулами. Кто в итоге должен делать выбор – проектировщики, инженеры, коммерсанты или государство?

Б. Г.: Вспомните самообучающегося бота Tay от Microsoft, который под влиянием пользователей всего за один день стал расистом. Сфера ИИ нуждается в регулировании с привлечением социологов и специалистов по этике.

М. Ф.: Но не поставит ли это США или западные страны в целом в невыгодное положение в конкурентной гонке с Китаем?

Б. Г.: Если мы остановим все исследования и разработки в сфере ИИ или строго ограничим их, то действительно окажемся в невыгодном положении. Ключевой вопрос в том, что произойдет, если мы не создадим оружия, управляемого ИИ, а у противников оно будет. Но это слишком большая и серьезная тема.

М. Ф.: В заключение я хочу спросить, какой совет вы можете дать тем, кто хочет работать в сфере ИИ? Каким был ваш опыт?

Б. Г.: Прежде всего эта область затрагивает одни из самых интересных вопросов в мире. Совокупность вопросов, которые поднимает ИИ, всегда требовала сочетания аналитического и математического мышления, умения думать о людях и понимать их поведение, инженерного мышления. Вы получаете возможность исследовать всевозможные способы мышления и всевозможные дизайнерские решения.

Я уверена, что другие люди считают свои области самыми захватывающими, но сейчас ИИ еще более захватывающая область, потому что у нас есть гораздо более мощные инструменты: просто посмотрите на наши вычислительные мощности. Когда я начинала работать, одна из моих коллег вязала свитер в ожидании, пока закончится обработка кода и на экране снова появится приглашение на ввод!

Как и все работающие в этой сфере, я уверена, что очень важно привлекать к разработкам ИИ-систем как можно больше людей. Я имею в виду не только женщин и мужчин, а людей разных культур, разных рас, потому что именно они будут использовать эти системы. Иначе возникают две опасности. Во-первых, такие системы, подойдут только определенным группам населения, а во-вторых, возникнет недружелюбный рабочий климат. Мы все должны работать вместе.

Я начинала, когда в этой сфере практически не было женщин, так что все зависело от отношения коллег-мужчин. Могу вспомнить как фантастически прекрасные, так и ужасные моменты. И считаю, что каждый университет и каждая компания, в которой есть группа, занимающаяся технологиями, должны поощрять и привлекать в эту сферу женщин и представителей меньшинств, потому что сейчас мы уже точно знаем, что чем многообразнее команда проектировщиков, тем лучше будет конечный результат.

Джуда Перл

“Сейчас прогресс замедлен из-за концентрации на глубоком обучении и связанных с ним непрозрачных структурах".

Профессор computer science и статистики, директор лаборатории когнитивных систем в UCLA

Джуда Перл – автор математического аппарата байесовских сетей, создатель математической и алгоритмической базы вероятностного вывода, автор алгоритма распространения доверия для графических вероятностных моделей.