Nhật ký công việc cho nhiệm vụ "Khảo sát tính nhân quả theo thời gian của VoiceControlState → DSP → đặc trưng âm học"

Kết luận tạm thời về tính nhân quả theo thời gian và khả năng quan sát của tham số

Các thí nghiệm đơn lẻ cho VoiceControlState -> DSP -> acoustic features đã được thực hiện cho tất cả các tham số điều khiển chính.

Các thí nghiệm cho thấy điều gì

Trong một lần quét đơn lẻ (single sweep), khi chỉ có một tham số điều khiển thay đổi trong khi các tham số khác được giữ cố định, nhiều tham số cho thấy sự tương quan mạnh mẽ với các đặc trưng âm học quan sát được.

Các kết quả nổi bật nhất:

• sourceLevel có mối liên hệ chặt chẽ với peak, rms, và độ lớn đỉnh phổ;
• periodicity cũng phản ánh rõ nét trong peak/rms, nhưng các đặc trưng này trùng lặp với các tham số điều khiển biên độ;
• f0Hz thể hiện rõ qua các đặc trưng liên quan đến cao độ (pitch-related), ZCR và phân bố năng lượng tần số cao;
• resonance1Freq thể hiện rõ qua vị trí của đỉnh phổ đầu tiên;
• resonance2Freq thể hiện qua các đặc trưng liên quan đến độ suy giảm/formant (rolloff/formant-related);
• resonance*Gain được quan sát rõ thông qua các đặc trưng biên độ;
• outputLevel phản ánh gần như hoàn hảo trong peak/rms.

Đồng thời, noiseLevel, các tham số thanh môn (glottal), các tham số băng thông (bandwidth) và resonance3Freq ít được quan sát thấy rõ hơn đáng kể với tập đặc trưng hiện tại.

Sự điều chỉnh quan trọng trong cách giải thích

Sự tương quan cao trong một lần quét đơn lẻ KHÔNG có nghĩa là tham số có thể được khôi phục trực tiếp.

Cần phân biệt giữa:

1. Sensitivity (Độ nhạy) — đặc trưng quan sát được có thay đổi hay không khi chúng ta thay đổi tham số điều khiển.
2. Identifiability (Tính nhận dạng) — liệu có thể nhận biết từ âm thanh quan sát được rằng chính tham số điều khiển này đã thay đổi chứ không phải tham số khác.

Ví dụ:

• sourceLevel, outputLevel và resonanceGain đều làm thay đổi mạnh rms/peak;
• periodicity trong thí nghiệm hiện tại cũng ảnh hưởng mạnh đến các đặc trưng biên độ tương tự.

Do đó, các tham số điều khiển này có độ nhạy và quan sát được, nhưng vẫn chưa được chứng minh là có thể phân biệt được với nhau trong một kịch bản thực tế nơi nhiều tham số thay đổi đồng thời.

Phân chia hiện tại của các điều khiển theo tính chất quan sát

1. Tọa độ tần số — có triển vọng nhất để khôi phục trực tiếp:

• f0Hz;
• resonance1Freq;
• resonance2Freq;
• tiềm năng là resonance3Freq sau khi cải thiện phân tích phổ.

Chúng làm thay đổi không chỉ năng lượng tổng thể mà còn cả cấu trúc phổ.

2. Các điều khiển biên độ/tỷ lệ — quan sát được, nhưng bị trộn lẫn:

• sourceLevel;
• outputLevel;
• resonance1Gain;
• resonance2Gain;
• resonance3Gain;
• một phần là periodicity.

Đối với các tham số này, cần phải khôi phục kết hợp hoặc bổ sung các đặc trưng bổ trợ, bởi vì hiệu ứng tương tự có thể đạt được thông qua các tổ hợp tham số khác nhau.

3. Các điều khiển định hình — nhật ký hiện tại ghi nhận kém:

• glottalOpenPhase;
• glottalReturnPhase;
• resonance*Bandwidth;
• noiseLevel;
• một phần là resonance3Freq.

Đối với chúng, có lẽ cần các đặc trưng về hình dạng chu kỳ, đường bao phổ (spectral envelope), cấu trúc hài/nhiễu (harmonic/noise structure), LPC hoặc các phép đo chuyên specialized hơn.

Kết luận về mặt thời gian

Trong tất cả các thí nghiệm đơn lẻ, phản ứng được phát hiện gần như ngay lập tức (~0.2 ms) và cửa sổ 20 ms là đủ cho tập đặc trưng hiện tại. Tuy nhiên, độ trễ giống nhau đối với tất cả các tham số có lẽ phản ánh trước hết độ phân giải của phương pháp đo lường và mốc thời gian của cửa sổ, chứ không phải là một hằng số vật lý DSP thực tế.

Ngoài ra, bộ nhớ cộng hưởng kéo dài đã được phát hiện (~250 ms trong thí nghiệm hiện tại). Giá trị này chưa thể coi là phổ quát: thời gian suy giảm phải phụ thuộc vào tần số/băng thông/Q và đòi hỏi một phép quét riêng biệt đối với các tham số cộng hưởng.

Những điều đã rõ hơn về bản thân bài toán decoder

Kịch bản và nhật ký âm học nằm ở các cấp độ biểu diễn khác nhau:

VoiceControlState -> trạng thái DSP nội bộ -> dạng sóng (waveform) -> phổ/đặc trưng (spectrum/features).

Các tham số điều khiển có thể hầu như không thay đổi theo thời gian, nhưng lại tạo ra một dạng sóng tần số cao phức tạp. Do đó, đồ thị điều khiển không được phép trông giống như đồ thị đặc trưng âm học.

Để khôi phục các tham số, cần nghiên cứu không phải sự tương ứng của một điều khiển với một đặc trưng, mà là phép ánh xạ:

vector(các đặc trưng trên một cửa sổ thời gian) -> vector(các điều khiển).

Thí nghiệm nguyên tắc tiếp theo phải kiểm tra các thay đổi đồng thời của nhiều tham số điều khiển. Chính thí nghiệm này sẽ cho thấy tính nhận dạng thực sự, chứ không chỉ là độ nhạy.

Kết luận thực tiễn

Các lần quét đơn lẻ đã trả lời cho câu hỏi: "Âm thanh có phản ứng với một điều khiển cụ thể hay không và điều đó hiển thị qua những đặc trưng nào?".

Câu hỏi tiếp theo là: "Liệu chúng ta có thể phân biệt sự thay đổi của một điều khiển này với điều khiển khác khi chúng tác động đồng thời hay không?".

Bên cạnh đó, các nghiên cứu cho thấy rằng để tiếp tục công việc, cần phải có một trình chỉnh sửa thời gian tương tác thuận tiện: không phải để chỉnh sửa các kịch bản JSON đã tìm thấy, mà như một phòng thí nghiệm để thủ công tìm kiếm âm thanh và mối quan hệ nhân quả giữa quỹ đạo thời gian của tham số và kết quả.