Представители этой профессии нужны, чтобы устранять разрыв между техническими специалистами и руководителями компаний. Важность подобного функционала будет возрастать по мере увеличения непрозрачности систем искусственного интеллекта. Многие обеспокоены тем, что сложные алгоритмы машинного обучения напоминают черный ящик, особенно когда такие системы рекомендуют действия, идущие вразрез с общепринятыми представлениями или носящие противоречивый характер (рис. 6).

Рис. 6. Функции специалистов по разъяснению

Рассмотрим в качестве примера компанию ZestFinance, которая помогает кредитным организациям повысить эффективность прогнозирования кредитного риска и увеличить выдачу займов тем лицам, которые при обычных обстоятельствах не соответствуют всем условиям получения кредита. Эта компания обеспечивает кредиторам возможность анализировать тысячи единиц информации о потенциальном заемщике (гораздо больше, чем требуется для расчета кредитного рейтинга FICO и составления традиционных кредитных историй) и использует самую современную технологию искусственного интеллекта для принятия решений о выдаче кредита или отказе в нем. Средний годовой доход потенциального заемщика достигает $30 000, причем у многих есть невыплаты по кредитам. Как правило, кредиты предоставляются на небольшую сумму (в среднем около $600) под высокие проценты[98].

Учитывая характер бизнеса, компании ZestFinance необходимо иметь возможность объяснить своим клиентам работу системы искусственного интеллекта, которую они используют для одобрения кредитов. Компания описала процесс оценки кандидатов на основе разных критериев, таких как честность, стабильность и благоразумие. Если указанный человеком доход гораздо выше, чем у аналогичных кандидатов, это снижает его рейтинг честности. Если за прошедшие несколько лет человек много раз переезжал с одного места на другое, под ударом оказывается его рейтинг стабильности. А если он не нашел времени, чтобы прочитать все условия предоставления кредита перед подачей заявки, это отрицательно сказывается на рейтинге благоразумия. Затем набор алгоритмов, каждый из которых выполняет самостоятельный анализ, изучает всю совокупность данных. Так, один из них проверяет, не указывает ли определенная информация на более серьезные события, например просрочку платежа по состоянию здоровья. На основании результатов анализа ZestFinance присваивает кандидату рейтинг от 0 до 100.

Усовершенствованные алгоритмы позволили ZestFinance выявить множество любопытных закономерностей. Так, компания выяснила, что люди, использующие прописные буквы при заполнении заявок на кредит, обычно оказываются заемщиками с более высоким уровнем риска. Такие результаты дали ZestFinance возможность постоянно снижать процент невозврата кредитов на несколько процентных пунктов, что позволяет компании обслуживать клиентов, которым при обычных обстоятельствах кредит бы не выдали. Однако главное здесь то, что ZestFinance может объяснить, как она принимает решения по кредиту, одобряя каждую третью заявку.

Поскольку компании полагаются на всё более совершенные системы искусственного интеллекта, принимая те или иные решения (особенно те, которые затрагивают интересы клиентов), им необходимо объяснять и обосновывать свои действия. На самом деле правительства уже рассматривают возможность принятия нормативных актов в этой области. Например, новое постановление Европейского союза «Общий регламент по защите данных», которое вступило в силу в 2018 году, по существу, вводит «право на разъяснение», позволяющее потребителям бороться за отмену любого решения, затрагивающего их интересы и принятого исключительно на основе алгоритма.

Компаниям, использующим современные системы искусственного интеллекта, понадобятся квалифицированные сотрудники, способные объяснить логику сложных алгоритмов. Одним из таких сотрудников станет эксперт по алгоритмам, в обязанности которого входит выявление причин, по которым алгоритм выдает те или иные результаты. Когда система совершает ошибку или когда ее решения приводят к непредвиденным негативным последствиям, эксперт должен выполнить своего рода «аутопсию» алгоритма, чтобы понять причины таких действий и внести необходимые коррективы. Некоторые типы алгоритмов объяснить не составит труда — к их числу относится алгоритм «убывающий список правил», в котором используется упорядоченный список правил импликации. Другие, как, например, алгоритмы глубокого обучения, объяснить не так просто. Тем не менее эксперт по алгоритмам должен иметь надлежащую подготовку и навыки, необходимые для детального анализа всех алгоритмов, используемых организацией.

В данном случае могут оказаться чрезвычайно полезными такие методы, как локально интерпретируемые моделе-агностические объяснения (local-interpretable-model-agnostic explanations, LIME). Для LIME не имеет значения, какой именно алгоритм искусственного интеллекта используется на самом деле. По существу, LIME вообще не нужно знать о внутренних механизмах соответствующей системы искусственного интеллекта. Для анализа любых результатов LIME корректирует переменные и наблюдает за тем, как меняется решение. Эта информация позволяет LIME выделить разные данные, на основе которых был сделан соответствующий вывод. Так, например, если экспертная система по подбору персонала определила лучшего кандидата на одну из должностей в отделе научных исследований и разработок, LIME может установить переменные, которые привели к принятию данного решения (такие как образование и глубокие знания в определенной узкой области), а также аргументы против этого решения (такие как отсутствие опыта работы в команде). С помощью таких методов эксперт по алгоритмам может объяснить, почему заявителю отказали в кредите, почему приостановили производственный процесс или маркетинговую кампанию запустили только на определенный сегмент потребителей.

Однако еще до возникновения потребности в такой экспертизе специалист по прозрачности алгоритмов должен классифицировать причины, по которым алгоритм искусственного интеллекта действует как черный ящик. От этих причин зависят уровень прозрачности и возможность проведения проверки алгоритма. Например, некоторые алгоритмы намеренно создаются как черные ящики, с тем чтобы защитить интеллектуальную собственность, тогда как другие напоминают черные ящики из-за сложности программного кода, или масштаба обрабатываемых данных, или механизмов принятия решений[99]. Специалист по прозрачности — это человек, который классифицирует системы и ведет базу данных или библиотеку информации о доступности системы.