Nhiệm vụ: Nghiên cứu các đặc trưng đo lường được của tín hiệu giọng nói trước khi xây dựng bộ tổng hợp mới

Bối cảnh

Hiện tại chúng ta chưa xây dựng bộ tổng hợp mới và cũng không cố gắng nhận diện ngay chữ cái/âm vị. Mục tiêu của giai đoạn này là hiểu một cách nền tảng chính xác những gì chúng ta có thể đo lường một cách đảm bảo từ bản ghi âm microphone, bằng những phương pháp nào và với độ chính xác thời gian/tần số ra sao.

Giả thuyết làm việc: trước hết cần xây dựng một decoder/analyzer tốt như một thiết bị đo đạc, tìm ra các đặc trưng ổn định của các âm thanh quen thuộc và chỉ sau đó mới đi theo chiều ngược lại — xây dựng các bộ tạo (generators) tái tạo lại các đặc trưng này.

---

Mô hình tín hiệu cơ bản

Tại sampleRate = 48 kHz, một giây PCM đơn (mono) tương ứng với 48.000 mẫu (samples) liên tiếp.

Mỗi sample là một giá trị biên độ tức thời cuối cùng. Sau khi trộn các nguồn bên trong, thông tin về việc chính xác các thành phần nào tạo nên một sample riêng lẻ đã bị mất đi.

Ví dụ, cùng một kết quả cuối cùng có thể thu được từ các tổng bên trong khác nhau. Do đó, việc khôi phục ngược lại các nguyên nhân riêng lẻ từ một sample duy nhất là bất khả thi.

Thông tin hữu ích chỉ xuất hiện khi phân tích quỹ đạo theo thời gian.

Cần phân biệt rõ:

• x[n] — độ lệch hiện tại của waveform;
• Δx[n] = x[n] - x[n-1] — hướng và tốc độ thay đổi;
• Δ²x[n] — sự thay đổi tốc độ / độ dốc của mặt sóng (transient);
• cấu trúc thời gian dài hạn;
• cấu trúc tần số.

Một số 0 đơn lẻ không có nghĩa là sự im lặng: bên trong dao động, đó có thể là thời điểm đi qua điểm cân bằng với tốc độ lớn. Sự nghỉ ngơi là một chuỗi kéo dài gần mốc số 0 mà không có sự thay đổi đáng kể.

---

Những gì có thể đo lường trực tiếp trong miền thời gian

Ngay trước khi dùng FFT, chúng ta đã có thể tính toán các đặc trưng một cách đảm bảo trên các cửa sổ ngắn:

• RMS / năng lượng tổng;
• peak amplitude (biên độ đỉnh);
• mean absolute amplitude (biên độ tuyệt đối trung bình);
• zero crossing rate (tỷ lệ cắt qua số không);
• mean(|Δx|) — tốc độ thay đổi trung bình của waveform;
• max(|Δx|) — độ dốc của mặt sóng mạnh nhất;
• sai phân bậc hai / độ "gia tốc" cục bộ;
• variance (phương sai);
• crest factor (hệ số đỉnh);
• autocorrelation (tự tương quan) và các cực đại của nó;
• thời lượng của các đoạn im lặng / năng lượng thấp;
• onset / sự xuất hiện đột ngột của năng lượng;
• decay / sự suy giảm sau sự kiện.

Các chỉ số này tiềm năng đã phân tách các loại cơ chế khác nhau:

• âm có thanh (voiced) kéo dài;
• đoạn tiếng ồn/âm sát (fricative/noise) kéo dài;
• âm nổ ngắn (burst/plosive);
• khoảng lặng/đóng (silence/closure);
• sự rung định kỳ (periodic tremor).

---

Phân tích tần số

Tần số không được lưu trữ trong PCM dưới dạng một trường riêng biệt. Nó được tính toán từ tính lặp lại của waveform.

Đối với một cửa sổ có độ dài N mẫu, có thể sử dụng:

• Fourier/FFT — các thành phần chu kỳ nào hiện diện;
• autocorrelation — waveform tự giống chính nó tại độ trễ (lag) nào;
• filter bank — năng lượng trong các dải tần được định nghĩa trước.

Đối với FFT, sự đánh đổi là rất quan trọng:

• cửa sổ dài → độ phân giải tần số tốt, định vị thời gian kém;
• cửa sổ ngắn → định vị thời gian tốt, độ phân giải tần số thô hơn.

Ví dụ:

• 1 s → khoảng 1 Hz;
• 100 ms → khoảng 10 Hz;
• 20 ms → khoảng 50 Hz;
• 10 ms → khoảng 100 Hz.

Đối với giọng nói, có lẽ sẽ cần phân tích đa tỷ lệ (multi-scale): nhận diện burst nhanh ở 5–10 ms, pitch/formants ở 20–50 ms, cấu trúc ổn định dài hạn ở 100+ ms.

---

Các kênh tần số / bộ lọc thính giác (auditory filter bank)

Thay vì hàng nghìn FFT bins, việc xây dựng một tập hợp giới hạn các dải tri giác (perceptual bands) sẽ hợp lý hơn, ví dụ 24–40 dải theo thang đo logarit/ERB.

Ý tưởng cơ bản:

PCM -> cửa sổ ngắn -> FFT/filter bank -> năng lượng của mỗi dải theo thời gian.

Chúng ta nhận được một tập hợp các kênh cố định:

Band 1 energy(t) Band 2 energy(t) ...

Số lượng kênh là cố định, trong khi mức độ hoạt động trong các kênh đó biến động theo thời gian.

Lớp trực quan đầu tiên có thể là biểu đồ nhiệt (heatmap):

• X = thời gian;
• Y = dải tần số;
• độ sáng = năng lượng.

Không cần phải mã hóa ngay nhiều chỉ số bằng độ dày hoặc màu sắc của một đường cong duy nhất. Giá trị dọc cơ bản của kênh có thể đơn giản là năng lượng được chuẩn hóa 0..1.

---

Sự khác biệt quan trọng: Tổng năng lượng và sự phân bố của nó

Uint8 0..255 là định dạng của một sample tức thời, chứ không phải là "ngân sách năng lượng" giữa các dải.

Để phân tích, sẽ hữu ích hơn nếu tách biệt:

• totalEnergy của cửa sổ;
• phân bố năng lượng tương đối giữa các dải.

Ví dụ:

Frame { totalEnergy, bands[] }

trong đó khi chuẩn hóa, ta có thể có:

sum(bands) ≈ 1.

Điều này cho phép chúng ta nhìn nhận độc lập:

• tín hiệu mạnh đến mức nào nhìn chung;
• năng lượng đã dịch chuyển về phần nào của phổ tần số.

---

Tìm kiếm các nhóm phổ (spectral groups)

Không nên cứng nhắc lấy top N dải mạnh nhất.

Một sơ đồ hợp lý hơn:

1. tính toán tất cả các dải;
2. loại bỏ các giá trị nằm dưới ngưỡng tiếng ồn thích ứng (noise floor/threshold);
3. tìm các cực đại cục bộ;
4. gộp các dải hoạt động liền kề thành các nhóm phổ;
5. liên kết các nhóm tương tự giữa các cửa sổ thời gian liền kề.

Bằng cách này, từ các kênh cảm biến cố định, ta thu được các đối tượng phổ trôi nổi (spectral objects):

• tần số trung tâm (center frequency);
• độ rộng băng thông (bandwidth);
• năng lượng;
• thời lượng;
• độ ổn định;
• onset/decay;
• tính chất chu kỳ / giống tiếng ồn (periodic/noise-like character).

Điều này gần gũi hơn với cách hệ thống thính giác nhóm các thành phần thành các đối tượng, hơn là việc chỉ chọn đơn giản mười bins mạnh nhất.

---

Giả thuyết về các cơ chế phát âm

Thay vì hàng chục điều khiển dạng vô hướng (scalar controls) của bộ tổng hợp trong tương lai, đề xuất là hãy tư duy theo các cơ chế hoặc bộ tạo mang ý nghĩa sinh lý/âm học riêng biệt.

Ví dụ:

• frication/constriction (xát/hẹp) — cơ chế tiếng ồn kéo dài;
• plosive release (nổ) — burst cực ngắn sau khi đóng/tích áp suất;
• voicing (hữu thanh) — nguồn chu kỳ ổn định;
• trill (rung) — các ngắt quãng/điều chế tựa chu kỳ lặp đi lặp lại;
• nasal coupling (cộng hưởng mũi) — cấu trúc phổ đặc trưng;
• guttural mechanism (cơ chế họng) — loại kích thích/cộng hưởng riêng biệt.

Ý tưởng chủ chốt: các cơ chế phải khác nhau không chỉ ở biên độ, mà ở các đặc trưng quan sát được:

• thời lượng đặc trưng;
• dải tần số;
• tính chu kỳ (periodicity);
• onset/decay;
• độ rộng phổ;
• độ ổn định;
• tính lặp lại theo thời gian.

Khi đó, decoder tiềm năng sẽ có thể tách chúng ra khỏi PCM chung dựa trên các chữ ký động học (dynamic signatures).

---

Kế hoạch thí nghiệm

Ban đầu chỉ làm việc với microphone và các ngữ liệu phát âm đã biết.

Thứ tự thực hiện:

1. Ghi âm các đoạn ngắn 0.5–1.5 s.
2. Phát âm các âm thanh/âm tiết/từ đã biết.
3. Xây dựng các chỉ số thời gian và tần số.
4. Tìm kiếm trực quan các chữ ký ổn định.
5. Kiểm tra các chữ ký tương tự ở các từ khác và các bối cảnh lân cận.
6. Kiểm tra khả năng phân biệt giữa các lớp gần nhau (С/Ш [S/Sh], П/Т/К [P/T/K], hữu thanh/vô thanh, v.v.).
7. Không gọi một mẫu (pattern) là "chữ cái" cho đến khi nó chuyển dịch được giữa các bối cảnh khác nhau.
8. Đạt được khả năng phân biệt cao trước hết cho một người, một microphone và trong các điều kiện có kiểm soát.
9. Chỉ sau đó mới thiết kế bộ tạo ngược lại (reverse generator).

Decoder phải trở thành một thiết bị đo đạc và sau đó là bài kiểm tra tự động cho bộ tạo:

human audio -> decoder -> mechanism signature

synthetic audio -> decoder -> mechanism signature

Việc so sánh được thực hiện trong không gian các đặc trưng đo lường được, chứ không chỉ mang tính chủ quan "giống/không giống".

---

Tiêu chí chính của giai đoạn hiện tại

Không phải nhận dạng văn bản và cũng không phải tổng hợp giọng nói.

Chúng ta cần hiểu rõ:

những đặc trưng nào mà chúng ta thực sự có thể đo lường một cách ổn định và tái lặp từ PCM, trên các thang thời gian nào, và những đặc trưng nào cho phép phân biệt các cơ chế giọng nói ổn định.

Ở giai đoạn này, việc xác nhận tính đo lường được và khả năng phân biệt quan trọng hơn việc thêm các thực thể mới vào bộ tạo.