Nhật ký công việc cho nhiệm vụ "Nghiên cứu tổng hợp tham số các âm tiếng Nga và các chuyển tiếp giữa chúng"

Các kết luận mới về cấu trúc bộ tổng hợp và tính khả nghịch

Đã tiến hành phân tích toàn bộ chuỗi VoiceScenario -> PCM.

1. Quá trình tổng hợp hoàn toàn nằm trong mã nguồn của chúng ta

Đã làm rõ rằng không có công cụ âm thanh ẩn bên ngoài nào tạo ra PCM. Mảng bản âm thanh cuối cùng được tính toán hoàn toàn bên trong synthesizeScenario:

VoiceScenario -> VoiceControlState(t) -> excitation -> resonators -> value -> Float32Array.

Tại mỗi mẫu (sample), mã tự tính toán giá trị cuối cùng và ghi nó vào output[sampleIndex]. AudioBufferSourceNode của trình duyệt sau đó chỉ phát lại PCM đã sẵn sàng.

Điều này có nghĩa là toàn bộ DSP có thể được tạo công cụ (instrument) và nghiên cứu ở mọi bước.

2. Các tham số điều khiển và các chỉ số âm học đo được là các cấp độ khác nhau

Sau khi sửa biểu diễn kịch bản, có thể thấy rằng ngay cả các tham số điều khiển gần như hằng số cũng tạo ra các thay đổi tần số cao trong âm thanh được đo. Điều này là có thể dự đoán được.

Nguyên nhân:

• f0Hz hằng số quy định tốc độ thay đổi của voicePhase, chứ không phải là giá trị dạng sóng (waveform) hằng số;
• noiseLevel hằng số điều khiển biên độ của nguồn ngẫu nhiên thay đổi theo mỗi mẫu;
• các bộ cộng hưởng có trạng thái nội bộ (low, band) và tiếp tục thay đổi động ngay cả khi các tham số không đổi;
• RMS, spectralFlatness và dominantFrequency phụ thuộc đồng thời vào nhiều tham số điều khiển và trạng thái DSP nội bộ.

Do đó, đường cong điều khiển != đường cong âm học được đo.

3. Đã tìm thấy một lớp bổ sung ẩn đối với kịch bản: trạng thái DSP nội bộ

Giữa VoiceControlState và PCM tồn tại các trạng thái nội bộ:

• voicePhase;
• resonator1/2/3.low;
• resonator1/2/3.band;
• trạng thái của PRNG tất định;
• các tự động hóa (automation) đang hoạt động.

Chính lớp này giải thích lý do tại sao các đường điều khiển gần như nằm ngang có thể dẫn đến dạng sóng tần số cao phức tạp và các chỉ số âm học không đồng đều.

4. Hướng nghiên cứu tiếp theo

Chúng ta cần chuyển từ câu hỏi "chỉ số nhật ký nào tương ứng với tham số" sang bài toán nhận dạng hệ thống:

sự thay đổi của mỗi tham số VoiceControlState ảnh hưởng như thế nào đến dạng sóng và các đặc trưng âm học có thể đo được?

Thí nghiệm đề xuất: quét tham số (parameter sweep) cho từng tham số điều khiển trong khi giữ cố định các tham số còn lại và thu thập dạng sóng + các đặc tính phổ/thời gian. Điều này sẽ cho phép xây dựng bản đồ control -> acoustic features và hiểu được tham số nào thực sự có thể quan sát được từ âm thanh, tham số nào phụ thuộc vào sự kết hợp của các tham số, và tham số nào hoàn toàn không hiển thị đối với trình ghi nhật ký (logger) hiện tại.

Lý thuyết cơ bản về PCM cũng được thảo luận: mức PCM không dấu 8-bit hằng số (ví dụ: 255,255,255,...) không tạo ra âm thanh ổn định vì không có sự thay đổi tuần hoàn; những gì nghe được chủ yếu là các chuyển đổi. Điều này nhấn mạnh rằng một giá trị PCM riêng lẻ là biên độ tức thời, trong khi tần số/âm sắc/độ lớn là các thuộc tính của cấu trúc chuỗi theo thời gian.