Ворклог по задаче "Исследовать качественный программный синтез человеческого голоса в браузере"

Исследован базовый физический предел для качественного воспроизведения речи и ориентиры для русского языка.

Ключевые выводы:

• Для воспроизведения человеческого голоса достаточно одного аудиоканала (mono): в одной точке пространства давление воздуха описывается одной скалярной временной функцией. Stereo нужно для пространственных признаков, а не для тембра/фонемной разборчивости самого голоса.
• ITU wideband speech: примерно 50–7000 Гц. По Найквисту для сохранения этой полосы нужно >14 кГц sample rate; практический стандарт — 16 кГц. Это даёт raw PCM 16-bit mono = 16,000*16 = 256 кбит/с.
• ITU super-wideband: 50–14,000 Гц; практический sample rate >=32 кГц, raw PCM 16-bit mono = 512 кбит/с. 48 кГц/16-bit mono = 768 кбит/с и уже покрывает fullband человеческой слышимости гораздо шире, чем обычно необходимо для речи.
• Для сжатой речи Opus RFC 6716 указывает sweet spots: 8–12 кбит/с narrowband speech, 16–20 кбит/с wideband speech, 28–40 кбит/с fullband speech.
• G.722 определяет high-quality wideband speech 50–7000 Гц при 64 кбит/с (старый SB-ADPCM codec); современный Opus достигает сопоставимой/лучшей субъективной эффективности при заметно меньшем битрейте.
• Русский OpenSTT (~20 тыс. часов) использует mono, 16 кГц, int16 как основной практический формат; их прежний MP3-профиль был 16 кГц mono 32 кбит/с. Это полезный русский эмпирический baseline, хотя не фундаментальный минимум.

Важно различать bitrate хранения/передачи и сложность синтезатора: один выходной аудиоканал может быть получен из многих внутренних источников/фильтров (glottal source, aspiration, frication, resonances, nasal branch и т.д.). Число внутренних DSP-компонентов не равно числу выходных аудиоканалов.