Это эволюционный недостаток человеческого мозга. Именно поэтому мозг не очень хорошо умеет оценивать вероятности. Вероятностная интуиция требует понимания тенденций в многократно повторенных опытах. Проблема в том, что нам не приходится переживать такого большого числа повторений одного и того же опыта и мы не можем развить в себе такую интуицию. В некотором смысле человеческий код сформировался именно для того, чтобы компенсировать низкий уровень нашего взаимодействия с данными. Поэтому вполне возможно, что благодаря машинному обучению мы в конце концов получим коды, дополняющие наш собственный, а не повторяющие его.

Вероятность играет ключевую роль во многих аспектах машинного обучения. Многие из алгоритмов, о которых мы говорили в главе 4, были реализованы детерминистским образом. Человек понимал, как устроена та или иная задача, и программировал компьютер, который затем с рабской покорностью исполнял все те трюки, на исполнение которых он был запрограммирован. Это было похоже на ньютоновское мировоззрение, в котором Вселенная управляется математическими уравнениями и задача ученого состоит в открытии этих правил и предсказании будущего на их основе.

Физика XX века выяснила, что Вселенная вовсе не так детерминистична, как нам казалось вначале. Квантовая физика показала, что Природа играет в кости. Результаты определяются вероятностями, а не часовым механизмом. Именно это господство вероятности и придало алгоритмам такую силу. Возможно, с этим же связано и то, что люди, обучавшиеся физике, по-видимому, ориентируются в нашем новом алгоритмическом мире лучше нас, математиков. Речь идет о соревновании рационалистов с эмпириками, и, к несчастью для меня, эмпирики одерживают в нем верх.

Как машина научилась играть в Breakout на приставке Atari, если ей даже не объяснили правил игры? В ее распоряжении были только данные о пикселях на экране, счет и ракетка, которую можно двигать влево или вправо. Алгоритм был запрограммирован на вычисление воздействия смещения ракетки влево или вправо на счет с учетом текущего состояния экрана. Поскольку последствия хода могут проявиться лишь через несколько секунд после него, нужно было вычислять отложенное воздействие. Это весьма непростая задача, потому что не всегда ясно, что именно вызвало тот или иной эффект. В этом состоит один из недостатков машинного обучения: иногда оно замечает корреляцию и принимает ее за причинно-следственную связь. Тем же недостатком страдают животные.

Довольно красивая иллюстрация этого утверждения была получена в эксперименте, продемонстрировавшем, что голуби суеверны. Исследователи производили видеозапись поведения нескольких голубей, сидевших в клетках; в определенные моменты дня в их клетки ставили кормушки. Дверцы кормушек открывались с задержкой, так что голубям, взволнованным появлением кормушки, тем не менее приходилось дожидаться, пока они смогут добраться до пищи. При этом было сделано следующее поразительное открытие: какие бы случайные действия ни производили голуби непосредственно перед открытием дверцы кормушки, они повторяли их на следующий день. Голубь увидел, что дверца закрыта. Он повернулся на месте два раза, и дверца открылась. Тогда он (ошибочно) заключил, что причиной открытия дверцы было его кручение на месте. Поскольку он очень стремился получить свою награду, в следующий раз, когда кормушка появилась в его клетке, он на всякий случай повторил свои повороты дважды.

Другой классический случай ошибочного обучения, ставший притчей во языцех среди специалистов по машинному обучению, произошел в американской армии. Военным требовались нейронные сети, обученные отбирать изображения с танками. Группа, разработавшая этот алгоритм, вводила в него изображения, помеченные как содержащие танки и не содержащие их. Алгоритм анализировал эти данные и начал выделять характеристики, отличающие изображения этих двух типов друг от друга. Когда он проанализировал несколько сотен помеченных изображений, его испытали на партии фотографий, которых он никогда до этого не видел. Алгоритм распознал их со стопроцентной точностью, чем чрезвычайно порадовал разработчиков.

После этого алгоритм передали военным для полевых испытаний. Военные вскоре прислали его обратно, заявив, что он ни на что не годится. Разработчики были в недоумении. Когда они проанализировали изображения, которые использовали военные, они увидели, что алгоритм выдавал ответы почти случайным образом. Но тут кто-то заметил в результатах закономерность: алгоритм, по-видимому, очень хорошо находил танки, если они были сфотографированы в облачный день.

Вернувшись к своим тренировочным данным, разработчики поняли, в чем была ошибка. Исследовательская группа получила доступ к танкам всего на несколько дней. Они ездили по полигону и фотографировали танки в разных замаскированных положениях. Но при этом они не обратили внимания на то, что в эти несколько дней стояла облачная погода. Затем исследователи вернулись на полигон и сфотографировали местность без танков, но на этот раз небо было безоблачным. Алгоритм научился только отличать изображения с облаками от изображений с чистым небом. А от детектора облачности военным было мало пользы. Вывод: даже если машина учится, нужно обеспечить, чтобы она училась тому, что нужно.

Эта проблема становится все серьезнее по мере того как алгоритмы, обученные на данных, начинают влиять на жизнь общества. Заявки на ипотечные кредиты, решения в области охраны правопорядка и медицинские рекомендации все чаще и чаще обрабатываются алгоритмами. Но теперь у нас имеется много свидетельств того, что в их работе возникают скрытые искажения. Старшекурсница МТИ Джой Буоламвини обнаружила, к своему смущению, что робототехническое программное обеспечение, с которым она работала, по-видимому, тратило гораздо больше времени на распознавание ее лица, чем лиц ее более светлокожих коллег. Когда она надевала белую маску, робот тут же понимал, где находится ее лицо, но стоило ей снять маску, как она исчезала.

В чем же была проблема? Алгоритм тренировали на множестве изображений белых лиц. В данных было мало лиц чернокожих. Такие искажения в данных породили целую армию алгоритмов, принимающих недопустимые решения: программы распознавания голоса, натренированные на мужских голосах и не узнающие женских, программы распознавания визуальных образов, принимающие чернокожих людей за горилл, автоматические кабины для изготовления фотографий на документы, говорящие людям азиатского происхождения, что их фотографии не соответствуют требованиям, потому что у них закрыты глаза. Четверо из каждых пяти сотрудников в сфере информационных технологий, работающих в Кремниевой долине, – белые мужчины. Это побудило Буоламвини организовать Лигу алгоритмической справедливости (Algorithmic Justice League) для борьбы против искажений в данных, на которых обучаются алгоритмы.

Проблемы возникают и в правовой системе, так как людям отказывают в предоставлении кредитов, устройстве на работу или праве на получение государственных пособий по решению алгоритма. Такие люди – вполне обоснованно – хотят знать, почему им отказали. Но, так как алгоритмы создают деревья решений, исходя из своего взаимодействия с данными, которое трудно проанализировать, обоснование таких решений оказывается делом непростым.