Nhật ký công việc cho nhiệm vụ "Nghiên cứu tổng hợp tham số các âm tiếng Nga và các chuyển tiếp giữa chúng"

Tiến độ nghiên cứu

Cách tiếp cận kiến trúc cốt lõi đã được thiết lập và kiểm chứng bằng thực nghiệm: âm thanh của con người được mô tả như một kịch bản liên tục thay đổi trạng thái DSP phổ quát theo thời gian, chứ không phải như một trình kết xuất chữ cái/âm vị chuyên biệt.

Đã triển khai

• VoiceScenario với initial và một timeline chung.
• Các lệnh set và animate, bao gồm cả cubic bezier.
• Trạng thái liên tục với các tham số kích thích, tính tuần hoàn, tiếng ồn, F0, hình dạng nguồn, ba kênh cộng hưởng phổ quát và mức cuối cùng.
• Một lệnh mới cho một tham số bắt đầu di chuyển từ giá trị hiện tại của nó và thay thế bất kỳ automation tương lai nào trước đó.
• Bộ tổng hợp chấp nhận cả VoiceScenario đơn lẻ và VoiceScenario[].
• Mảng các kịch bản trải ra thành một mốc thời gian duy nhất mà không cần đặt lại pha nguồn hoặc trạng thái DSP giữa các phần tử.
• Điều này giúp có thể lắp ráp Privet thành [PRI_SCENARIO, VET_SCENARIO] thay vì tạo một kịch bản từ riêng biệt.
• Nguồn tiếng ồn đã được chuyển sang PRNG có hạt giống (seeded PRNG) để tái tạo PCM ổn định.
• Âm thanh tổng hợp đi qua cùng một VoiceLogger giống như các bản ghi âm trực tiếp.

Vòng lặp thử nghiệm

Sơ đồ sau được sử dụng:

bản ghi trực tiếp → nhật ký (log) → phân tích → kịch bản → tổng hợp → cùng bộ ghi log → so sánh → điều chỉnh

Trình ghi log hiện tại đo lường RMS, đỉnh (peak), ZCR, tâm phổ (spectral centroid), độ phẳng phổ (spectral flatness), tần số chiếm ưu thế và một số dải năng lượng. Nó vẫn còn thô sơ: phân tích ở 128 mẫu (samples) cho bước tần số khoảng 375 Hz, vì vậy cần phải cải thiện thêm trong tương lai.

Kết quả cho từng âm thanh cụ thể

A

Âm A kéo dài đã cho ra kết quả tương đối tự nhiên. Điều này xác nhận rằng timeline + nguồn định kỳ + các cộng hưởng phổ quát về cơ bản là phù hợp cho một số trạng thái giọng nói ổn định.

C (S)

Sau nhiều lần lặp lại, người ta thấy rằng hiện tượng "xì" chủ quan không thể quy cho việc dư thừa tần số cao. Âm C mạnh trong thực tế đồng thời có ZCR cao, tâm phổ cao và độ nhiễu loạn tần số cao mãnh liệt. Việc chỉ tăng biên độ tổng thể không giải quyết được bài toán chất lượng nguồn.

Ш (Sh)

Ш được coi là trạng thái nhiễu liên tục gần giống với C, nhưng có phân bố năng lượng phổ thấp hơn và rộng hơn.

Т (T)

T đã xác nhận sự hiện diện của các sự kiện ngắn hạn không thể kéo dài như một trạng thái ổn định. Âm T thật đặc trưng bởi một đợt bùng nổ tần số cao rất ngắn và sự suy giảm nhanh chóng; trong một số bản ghi, đỉnh chính thường xuất hiện ở khoảng 15–16 kHz. Điều này đã được thể hiện thành công bằng chính mô hình timeline đó mà không cần loại T chuyên biệt.

Kịch bản tổng hợp

Các kịch bản Pri và Vet đã được tạo ra, sau đó kiểm tra việc kết hợp chúng thông qua một mảng các kịch bản. Chúng đã có thể nhận diện được, nhưng chất lượng âm thanh vẫn mang rõ nét âm thanh máy tính.

Sau khi so sánh với âm Privet thật, người ta phát hiện ra rằng:

• các kịch bản ban đầu bị kéo dài quá mức về thời gian;
• dao động sâu thủ công của sourceLevel cho âm Р nghe có vẻ cơ học;
• âm T cuối cùng trong một trong các biến thể đạt đến peak = 1, tức là chạm ngưỡng hard clamp;
• các kịch bản đã được rút ngắn lại cho phù hợp với thời lượng trò chuyện hơn và âm T cuối cùng được làm giảm đi.

Hạn chế DSP hiện tại

Rủi ro chính hiện nay không nằm ở kiến trúc kịch bản, mà nằm ở chất lượng của chính bộ máy âm thanh. Các cơ chế phổ quát còn thiếu có thể là:

• nguồn thanh quản (glottal source) thực tế hơn;
• độ nghiêng phổ (spectral tilt);
• tiếng thở / âm khí (aspiration / breathiness);
• đường truyền nhiễu băng rộng/trực tiếp (broadband/direct noise path);
• mô hình nhiễu loạn mang tính vật lý hơn;
• kháng cộng hưởng (antiresonances);
• đường mũi (nasal tract);
• tương tác nguồn-bộ lọc (source-filter interaction);
• mô hình đường thanh quản phong phú hơn;
• có thể là jitter/shimmer và các biến động nhỏ khác;
• kiểm soát hiện tượng cắt xén (clipping) thay vì dùng hard clamp che giấu nguyên nhân.

Kết luận kiến trúc

• các chữ cái, âm vị và âm tiết nên đóng vai trò là siêu dữ liệu (metadata), chứ không phải là bản thể học (ontology) của DSP;
• các hiện tượng ổn định, chuyển tiếp và tắc nghẽn hiện có thể được biểu diễn bằng một mô hình timeline duy nhất;
• việc kết hợp các kịch bản có vẻ là hướng đi đúng đắn;
• TTS tạo sinh không phù hợp làm đối tượng nghiên cứu, vì nhiệm vụ đòi hỏi phải lập trình rõ ràng các âm thanh mới, bao gồm cả những âm chưa từng gặp trước đây;
• Pink Trombone và các mô hình vật lý tương tự rất hữu ích làm tài liệu tham khảo, nhưng chất lượng của chúng cho thấy chỉ riêng một mô hình đường ống liên tục là chưa đủ.

Bước tiếp theo

Một nhiệm vụ nghiên cứu liên quan riêng biệt cmtzxmokp085eqw0qtb7vg7c2 đã được tạo ra về tổng hợp giọng nói con người bằng lập trình chất lượng cao trên trình duyệt. Nhiệm vụ này nhằm tìm kiếm các dự án bản địa hóa trên trình duyệt / có khả năng chạy trên trình duyệt và các cách tiếp cận DSP có thể tái tạo chất lượng ít nhất một vài âm thanh hoặc âm tiết của con người mà không cần TTS tạo sinh, đồng thời tìm hiểu xem cơ chế phổ quát nào nên được chuyển sang công cụ hiện tại.