Использование ASR-систем удобно, но сопряжено с рядом опасностей. Так, злоумышленники могут получить несанкционированный доступ к ней, чтобы перехватить голосовую информацию и (или) захватить управление этой системой. Разработчик ASR-системы или лицо, имеющее несанкционированный доступ к ней (т. е. к трафику – если при его передаче используются слабые алгоритмы шифрования или он передается в незашифрованном виде), может анализировать голосовые запросы и содержащиеся в них важные для пользователя персональные данные. Приказывая системе набрать телефонный номер, пользователь дает ей сведения о своих контактах. Поисковые запросы и история посещения сайтов содержат данные об интересах пользователя, вопросы о погоде в определенной локации или о маршруте до определенной точки – информацию о его местонахождении.

Перехватываться могут не только сами команды, но и все, что произносится около устройства. ASR-система реагирует на определенные голосовые команды (ключевые слова), например «Окей, Google», и записывает сказанное после них, передавая записанные данные на сторонние серверы. Система не вычленяет инструкцию сразу, т. е. не прерывает запись после окончания команды, а записывает до ближайшей паузы определенной длительности в речи человека. Весь записанный текст, как команда, так и все сказанное после нее, передается на сервер для анализа речи и обработки команды.

Другая уязвимость – это возможность реагирования ASR-систем на команды, скрытые в рекламе или музыке. С помощью таких команд можно осуществлять несанкционированные действия, например совершать покупки в магазине приложений, зачитывать вслух сообщения или уведомления, публиковать посты в соцсетях и управлять устройствами «умного» дома[1139].

Существует еще одна опасность: злоумышленник может покупать в поисковой системе рекламу, указывая в ней телефонные номера, якобы принадлежащие какой-либо крупной компании, и постоянно продвигать свои объявления на верхние позиции в поисковой выдаче. Атака оказывается эффективной, если пользователь просит голосового помощника найти номер интересующей его компании и позвонить по нему. ASR-система обращается к поисковой системе и набирает попавший на верхнюю позицию в списке результатов поиска телефонный номер мошенника. В результате устройство дозванивается ему по этому номеру, он представляется сотрудником компании и ведет дальнейшую атаку, например запрашивает у пользователя его банковские реквизиты с целью кражи денежных средств. Аналогичным образом пользователь может быть перенаправлен на поддельный сайт компании (с фейковыми контактными и банковскими данными), если запросит адрес сайта, а искусственный интеллект откроет адрес, попавший на верхние позиции в списке результатов поиска. Во избежание таких ситуаций следует проверять результаты поиска, выданные по запросу ASR-системой, либо вручную переходить на нужный сайт и набирать номера телефонов исключительно из адресной книги[1140].

Перехват голосового трафика

Степень риска утечки персональных данных зависит от способа работы голосового помощника (например, микрофон может быть всегда активен или включаться по определенной команде), протоколов передачи аудиоданных (предусматривают ли они шифровку трафика, передаваемого на сервер компании-разработчика) и способа их обработки (с помощью машинных алгоритмов или силами людей, с обезличиванием данных (если да – какова их степень) или без него и т. п.). Известны случаи, когда крупные производители голосовых помощников признавались в привлечении людей, в том числе внештатных сотрудников, для анализа голосового трафика, загружаемого на их серверы. В частности, корпорация Google допускает прослушивание аудиоданных, записанных с помощью Google Assistant, модераторами из числа независимых подрядчиков. Об этом стало известно благодаря утечке примерно тысячи аудиозаписей, произошедшей в 2019 г.[1141] Аналогичным функционалом обладают «умные» колонки Amazon Echo со встроенным голосовым помощником Alexa. Кроме того, компания Amazon может сохранять некоторые записи (стенограммы) или информацию о действиях пользователя (например, покупке, аренде автомобиля и т. п.), связанную с его голосовыми командами, даже если владелец устройства удалит ее[1142]. Анализом голосовых команд в компании Amazon (как и в Apple[1143]) также могут заниматься люди, в том числе и внештатные сотрудники[1144].

Хотя все аудиоданные поступают на серверы компаний в обезличенном виде, их передача может представлять угрозу для пользователей устройств, если они не только дают команды, но и обсуждают некие конфиденциальные сведения, способные их деанонимизировать (например, произносят вслух фамилии или наименования должностей). Соответственно, функция обезличивания данных также не защитит приватность говорящего, если запись его голоса подвергнется биометрическому анализу и будет сверена с сэмплами, имеющимися в ранее собранной базе данных. В этом случае может помочь передача на серверы компаний не самих аудиозаписей, а их стенограмм.

Анализируя команды, можно определить некоторые важные для владельца устройства персональные данные. Например, это могут быть сведения о сайтах, которые посещает пользователь, а также о его местонахождении или месте, куда он направляется, если говорит вслух о своем маршруте.

Выше описан редкий сценарий атаки; компании-разработчики принимают серьезные меры для предотвращения несанкционированного доступа к данным, обрабатываемым голосовыми помощниками. Но некоторые вендоры, в частности Samsung[1145], предупреждают о том, что записи разговоров, ведущихся рядом с устройствами, оборудованными микрофонами и камерами (в том числе смарт-телевизорами), могут быть доступны третьим лицам, и рекомендуют воздержаться от конфиденциальных разговоров поблизости от таких устройств.