Nhật ký công việc cho nhiệm vụ "Nghiên cứu các đặc trưng đo lường được của tín hiệu giọng nói trước khi xây dựng bộ tổng hợp mới"

Tóm tắt trung gian: Thử nghiệm hiện tại đã thất bại

Ở giai đoạn hiện tại, không có cảm biến nào được triển khai/đề xuất cung cấp bất kỳ thông tin hữu ích, ổn định về mặt trực quan hoặc có thể diễn giải để phân biệt các âm thanh trong lời nói.

Điều này cần được ghi nhận là một kết quả tiêu cực thay vì cố gắng "ép" thử nghiệm với các phương pháp phỏng đoán (heuristics) mang tính lạc quan.

Những gì đã thử nghiệm

Các cảm biến theo miền thời gian đã được thảo luận và/hoặc đề xuất:

• RMS / năng lượng trung biên;
• biên độ đỉnh (peak amplitude);
• tỷ lệ cắt qua không (zero crossing rate);
• trung bình |Δx|;
• tối đa |Δx|;
• tự tương quan / tính tuần hoàn (autocorrelation / periodicity);
• ước tính cao độ (pitch estimate).

Sau đó là nỗ lực xây dựng một sibilanceSensor thô cho tỷ lệ tín hiệu trên tạp âm (SNR) thông qua:

• năng lượng tần số cao;
• tâm phổ (spectral centroid);
• tách năng lượng dưới/trên một ngưỡng quy ước;
• nồng độ phổ (spectral concentration).

Tiếp theo, một cảm biến dải tần thô với 12 dải logarit từ khoảng 60 Hz đến 14 kHz đã được đề xuất.

Kết quả thực tế: chưa có phương pháp nào trong số này cho thấy một bức tranh hữu ích dù chỉ là xấp xỉ, điều mà lẽ ra phải cho phép chúng ta tự tin khẳng định rằng các phép đo phản ánh sự khác biệt giữa các âm thanh đã phát âm được biết trước.

---

Các nguyên nhân chính dẫn đến thất bại

1. AI bắt đầu "thiết kế giải pháp" quá sớm thay vì thực hiện thử nghiệm đo lường

Sai lầm chính là việc chuyển đổi quá sớm từ câu hỏi "chúng ta thực sự thấy gì trong dữ liệu?" sang câu hỏi "cảm biến nào nên phát hiện SNR?".

Kết quả là xuất hiện các phương pháp phỏng đoán như ngưỡng quy ước 5.5 kHz, sibilance-presence, tập hợp các dải tần được chọn trước và các biểu đồ kỳ vọng trước khi thu được dù chỉ một chuỗi đo lường thực tế mang tính xác thực.

Điều này lặp lại vấn đề đã từng quan sát thấy: mã nguồn trông có vẻ hợp lý, nhưng nền tảng bên dưới lại chưa được chứng minh bằng thực nghiệm.

2. Các đặc trưng tự bản thân có thể đo lường được, nhưng giá trị chẩn đoán của chúng chưa được chứng minh

RMS, ZCR, |Δx|, tự tương quan và các chỉ số phổ thực sự được tính toán chính xác như các thuộc tính của dạng sóng (waveform). Nhưng điều này không có nghĩa là chúng hữu ích trong việc phân biệt các âm vị hoặc cơ chế phát âm trong một bản ghi cụ thể.

Ví dụ, hai âm thanh khác nhau có thể có RMS/ZCR rất giống nhau, trong khi cùng một âm thanh lại có thể thay đổi đáng kể các giá trị này tùy thuộc vào âm lượng, khoảng cách đến micrô và ngữ cảnh.

3. Chuẩn hóa có thể phá hủy chính thông tin mà chúng ta đang cố gắng nhìn thấy

Nỗ lực chuẩn hóa năng lượng dải tần trong mỗi khung hình sao cho tổng bằng khoảng 1 giúp việc trực quan hóa phân bố phổ trở nên thuận tiện, đồng thời lại xóa bỏ thông tin về cường độ tuyệt đối.

Khi so sánh âm xì (sibilant) và âm không xì, bản thân năng lượng tiếng ồn tuyệt đối có thể là một đặc trưng quan trọng.

Chúng ta không thể quyết định trước thành phần tín hiệu nào là "thành phần tỷ lệ gây nhiễu" cho đến khi đã kiểm tra chúng bằng thực nghiệm.

4. Cửa sổ thời gian quá thô

Cửa sổ cố định 20–40 ms rất thuận tiện về mặt kỹ thuật, nhưng các cơ chế phát âm khác nhau hoạt động ở các thang đo khác nhau:

• tiếng nổ (burst) có thể chỉ chiếm vài mili-giây;
• cao độ yêu cầu nhiều chu kỳ;
• cấu trúc định dạng (formant) yêu cầu một sự đánh đổi khác;
• tiếng ồn xát (fricative noise) bền vững có thể kéo dài hàng trăm mili-giây.

Một thang đo cửa sổ duy nhất chắc chắn sẽ che khuất một phần các sự kiện.

5. Dải tần quá thô

12 dải như 2.5–4 kHz, 4–6.3 kHz, 6.3–10 kHz có thể rộng đến mức sự khác biệt về phổ cục bộ thực tế bên trong chúng đơn giản là biến mất.

Đồng thời, việc nhảy thẳng đến hàng chục dải mà không có lợi ích được chứng minh sẽ chỉ tạo ra nhiều dữ liệu hơn chứ không mang lại sự thấu hiểu sâu sắc hơn.

6. Chưa có quy trình thử nghiệm chuẩn

Hiện vẫn thiếu một tập hợp nghiêm ngặt các bản ghi so sánh:

• cùng một micrô;
• cùng một khoảng cách;
• cùng một âm lượng;
• nhiều lần lặp lại của cùng một âm thanh;
• một số âm thanh khác nhau;
• lưu trữ dữ liệu PCM gốc;
• cùng một cách xử lý;
• khả năng chồng lớp/so sánh các chỉ số giữa các lần lặp lại.

Nếu không có điều này, việc phân biệt một đặc trưng âm vị ổn định với sự biến thiên ngẫu nhiên của bản ghi là điều bất khả thi.

7. Cho đến nay mới chỉ phân tích "một bản ghi duy nhất" thay vì thống kê các lần lặp lại

Một biểu đồ đơn lẻ hầu như không chứng minh được điều gì.

Chúng ta cần ít nhất vài lần lặp lại của mỗi lớp và so sánh các phân bố đặc trưng:

• độ biến thiên trong cùng một lớp (intra-class);
• khoảng cách giữa các lớp (inter-class);
• tính ổn định theo thời gian;
• độ nhạy đối với âm lượng và micrô.

Nếu độ phân tán của cùng một âm thanh lớn hơn sự khác biệt giữa hai âm thanh, thì cảm biến đó vô dụng đối với nhiệm vụ của chúng ta.

8. Gắn kết quá sớm với các chữ cái

С, Ш, Ф là các lớp kiểm thử hữu ích, nhưng một cảm biến không nên bắt đầu bằng giả định về một chữ cái.

Cách đúng đắn hơn là trước tiên tìm ra các khác biệt khách quan giữa các tập bản ghi, rồi sau đó mới xem xét chúng tương ứng như thế nào về mặt cấu âm và ngữ âm.

9. Các vấn đề tiềm ẩn với chính audioData gốc

Trước khi đưa ra các kết luận tiếp theo, cần phải xác minh riêng biệt:

• audioData thực sự chứa gì;
• đó có thực sự là dữ liệu PCM từ micrô hay không;
• kiểu dữ liệu (Uint8, Float32, hoặc khác);
• độ dịch tâm/DC chính xác (center/DC offset);
• sampleRate thực tế;
• trước khi phân tích, có sự xử lý nào từ trình duyệt/micrô hay không: AGC, khử tiếng ồn (noise suppression), khử tiếng vọng (echo cancellation);
• audioData có phải là kết quả từ AnalyserNode với ngữ nghĩa bị giới hạn/thay đổi hay không.

Nếu tín hiệu đầu vào đã được tự động chuẩn hóa hoặc lọc bởi trình duyệt, điều này có thể thay đổi hoàn toàn các đặc trưng quan sát được.

10. Trực quan hóa cũng có thể che giấu sự khác biệt

Nếu mỗi cảm biến tự chọn dải normalized từ 0 đến 1, về mặt trực quan, bất kỳ sự khác biệt nhỏ nào cũng có thể trông có vẻ đáng kể, trong khi những khác biệt tuyệt đối lớn lại trông giống nhau.

Đối với một công cụ nghiên cứu, các giá trị thô đi kèm đơn vị đo lường phải được đặt lên hàng đầu, trong khi việc chuẩn hóa trực quan nên là một lớp riêng biệt và minh bạch.

---

Những gì chúng tôi coi là bước đi tiếp theo đúng đắn

Không viết thêm một "cảm biến thông minh" nào nữa.

Đầu tiên, hãy xây dựng cơ sở hạ tầng thử nghiệm tối thiểu:

1. lưu trữ một vài bản ghi thô ngắn với nhãn được biết trước;
2. đảm bảo nắm rõ định dạng PCM và sampleRate;
3. có khả năng vẽ dạng sóng (waveform) gốc mà không qua biến đổi;
4. có khả năng tạo biểu đồ phổ chi tiết/STFT thông thường mà không cố gắng phân loại;
5. so sánh song song một vài lần lặp lại của cùng một âm thanh;
6. chỉ sau khi phát hiện trực quan được một sự khác biệt ổn định mới tách nó thành một sensor-helper riêng biệt;
7. đánh giá cảm biến dựa trên thống kê các lần lặp lại thay vì chỉ dựa vào một biểu đồ thành công đơn lẻ.

Kết luận chính của giai đoạn hiện tại:

hiện chưa có cơ sở để khẳng định rằng các cảm biến được đề xuất cung cấp thông tin hữu ích cho việc nhận diện âm thanh. Thử nghiệm cần được đưa trở lại mức cơ bản hơn: trước tiên là quan sát trung thực dạng sóng và phổ của các bản ghi thực tế, sau đó mới trích xuất những chỉ số nào mà tính hữu ích của chúng đã được xác thực bằng dữ liệu có thể lặp lại.