игрального кубика с шестью гранями результат броска (будем считать, что кубик не может задержаться на ребре, углу или зависнуть в воздухе) — это дискретная случайная величина (т. е. такая случайная величина, множество возможных значений которой конечно или хотя бы счётно; в нашем случае оно конечно — у кубика всего шесть граней) с равномерным распределением (все варианты выпадения равновероятны, и вероятность каждого составляет ровно 1/6). Роль игрального кубика мог бы выполнять любой другой генератор случайных чисел, при этом случайные величины, производимые на свет таким генератором, вовсе не обязаны быть дискретными или распределёнными равномерно, но мы для простоты иллюстрации будем использовать игральные кубики.

Немного усложним наш процесс и представим себе, что у нас на самом деле имеется не один, а некоторое конечное (или хотя бы счётное) количество игральных кубиков, уложенных в шкатулку. Среди них есть кубики с разным числом граней (например, с 4, 6, 8, 12, 20), на гранях этих кубиков написаны разные числа (необязательно от единицы до числа граней, а например: 1, 1, 2, 4 на кубике с четырьмя гранями и т. п.), некоторые кубики мошеннические (вероятность выпадения каких-то из их граней больше). После каждого броска мы возвращаем кубик в шкатулку и для следующего броска берём оттуда другой. Следовательно, распределение случайной величины во время броска под номером t будет зависеть от того, какой кубик будет в этот момент у нас в руках. Номер этого кубика i мы будем называть текущим состоянием процесса. Таким образом, наш процесс на каждом шаге t находится в некотором состоянии i и генерирует некоторую случайную величину, распределение которой зависит только от i.

Теперь обратим внимание на ещё одну важную деталь нашего процесса, а именно на принцип выбора следующего кубика в шкатулке. Если этот принцип зависит только от того, какой кубик находится у нас в руках сейчас, и того, какое число выпадет в результате его броска, то наш процесс будет называться марковским процессом, то есть случайным процессом, эволюция которого после любого заданного значения временно́го параметра t не зависит от эволюции, предшествовавшей t, при условии что значение процесса в этот момент фиксировано (т. е. «будущее» процесса не зависит от «прошлого» при известном «настоящем», или, иными словами, «будущее» процесса зависит от «прошлого» лишь через «настоящее»).

В марковских процессах ни время, ни случайные величины, ни состояния процесса вовсе не обязаны быть дискретными, однако эту разновидность особой уличной магии мы оставим авторам специализированных курсов по математической статистике. Частным случаем марковского процесса, если все эти параметры дискретны, является так называемая марковская цепь нулевого порядка. Помимо цепей нулевого порядка, существуют ещё и марковские цепи высших (первого, второго и т. д.) порядков, в которых следующее состояние зависит не только от текущего, но и от одного, двух и так далее предыдущих значений. Когда мы используем термин «скрытая марковская модель», мы обычно предполагаем, что анализируемая нами последовательность является продуктом последовательных случайных событий, генерируемых некоторой марковской цепью, однако мы не знаем, в каком именно состоянии находилась цепь на каждом из шагов. Для прогнозирования значений мы пытаемся выявить структуру порождающей модели при помощи статистических методов. Со времени своего появления марковские модели активно использовались, в частности для анализа закономерностей появления символов в текстах. Модели, основанные на n-граммах, а также конечные автоматы являются наследниками марковских моделей. В некотором роде анализ марковских цепей и процессов стал важным элементом математического фундамента, на котором затем было возведено здание машинного обучения.

Марковские процессы получили своё название в честь русского математика Андрея Маркова (старшего), который сформулировал их определяющее свойство в первую декаду XX в.

Академик Андрей Андреевич Марков был весьма примечательной личностью для своего времени. Он был не только радикальным новатором в науке (его вклад в теорию чисел, математический анализ и прежде всего в математическую статистику и теорию вероятностей весьма существенно повлиял на дальнейшее развитие науки в этих направлениях), но и человеком весьма радикальных рационалистических взглядов. Чего стоит хотя бы его «самоотлучение» от Русской православной церкви. В феврале 1912 г. он направил в Святейший синод письмо, в котором попросил об отлучении. Академик писал: «Я не усматриваю существенной разницы между иконами и мощами, с одной стороны, и идолами, которые, конечно, не боги, а их изображения, с другой, и не сочувствую всем религиям, которые, подобно православию, поддерживаются огнём и мечом и сами служат им». Синод рассмотрел письмо и поручил митрополиту Петербургскому организовать «преподание просителю пасторских увещеваний и вразумления», что тот поручил сделать священнику Философу Орнатскому. Однако Марков отказался от встречи с ним, заявив, что она только приведёт к напрасной трате времени и взаимному раздражению. В итоге митрополит направил рапорт в Синод, где предложил, что «г. Маркова следует считать отпавшим от Церкви и подлежащим исключению из списков лиц православных», Синод поручил Санкт-Петербургскому епархиальному начальству принять решение по Маркову, и Санкт-Петербургская духовная консистория утвердила предложение митрополита считать Маркова отпавшим от церкви. Синод постановил известить о происшедшем петербургского градоначальника, Министерство народного просвещения и непосредственное руководство Маркова[2371].

Марков был довольно сильным шахматистом, много и с успехом играл по переписке, занимался шахматной композицией, был другом и партнёром в игре по переписке сильнейшего российского шахматиста того времени — Михаила Чигорина.

Системы, основанные на скрытых марковских моделях (применявшихся как в статистическом параметрическом синтезе, так и в конкатенативных системах), а также на вокодерах, использующих «донейронные» схемы аппроксимации, позволили получить весьма реалистичную и разборчивую синтетическую речь, обладающую лишь незначительным числом дефектов, выдающих её ненатуральность. С начала нового тысячелетия эти системы постепенно совершенствовались, главным образом за счёт работы над наборами данных (увеличения их размеров и улучшения качества). И всё же, несмотря на все старания инженеров, от «синтетического оттенка» искусственной речи избавиться до конца не удавалось. Увеличение затрат на подготовку данных не приводило к пропорциональному росту качества синтеза речи, что свидетельствовало в пользу того, что существующие технологии синтеза приблизились к пределу своих возможностей.

В условиях, когда методы глубокого обучения завоёвывали всё новые и новые области обработки данных, появление их в синтезе речи было лишь вопросом времени.

6.4.6 Первые применения нейронных сетей для синтеза речи

Попытки применения нейронных сетей к задаче синтеза речи предпринимались ещё до «революции глубокого обучения». Например, в 1998 г. тайваньские исследователи Сын-Хорн Чэнь, Шау-Хва Хван и И-Ру Ван использовали четырёхслойную рекуррентную нейронную сеть Элмана для генерации параметров произношения каждого из слогов (так называемой просодической информации) в системе синтеза речи для путунхуа (mandarin) — официального стандарта китайского языка.