Nhật ký công việc cho nhiệm vụ "Nghiên cứu tổng hợp tham số các âm tiếng Nga và các chuyển tiếp giữa chúng"

Tiến bộ mới: Biểu diễn âm thanh có cấu trúc và vòng lặp Con người ↔ AI

Đã ghi nhận một số dấu hiệu đáng khích lệ từ nguyên mẫu hiện tại.

1. Chúng ta không còn làm việc với waveform, mà với một chương trình nhỏ gọn

Bộ tổng hợp hiện tại vận hành dựa trên các biến trạng thái ban đầu riêng biệt và các kịch bản riêng lẻ trên một timeline chung. Điều này khác biệt cơ bản so với việc lưu trữ trực tiếp hàng nghìn/chục nghìn mẫu (samples).

Mặc dù mô hình còn thô sơ, nhưng từ một số lượng tương đối nhỏ các tham số đã tạo ra những âm thanh đôi khi được con người nhận dạng là chữ cái, các đoạn âm vị hoặc âm tiết. Điều này chưa chứng minh được sự đủ đầy của mô hình đối với ngôn ngữ tự nhiên, nhưng cho thấy không gian tham số không hoàn toàn hỗn loạn.

2. Con người thực tế đóng vai trò là perceptual validator (bộ kiểm định nhận thức)

AI không có một chuẩn mực đáng tin cậy về độ tự nhiên của âm thanh tổng hợp. Do đó, vòng lặp làm việc hiện tại diễn ra như sau:

âm thanh mong đợi → kịch bản → tổng hợp → con người lắng nghe → đánh giá chất lượng → AI đề xuất thay đổi tham số → tổng hợp mới.

Ở đây, con người đưa ra perceptual feedback cuối cùng, trong khi AI giúp phân tích các khác biệt về cấu trúc và di chuyển qua không gian tham số.

3. Sử dụng bản ghi âm thực tế làm mốc tham chiếu cục bộ

Khi tìm kiếm âm thanh Kha, một bản ghi âm của từ/cụm từ KuKhaRe đã được sử dụng, trong đó đoạn cần thiết thực sự xuất hiện. AI đã nhận được:

• nhật ký (log) của biến thể tổng hợp;
• nhật ký của bản ghi âm thực;
• thông tin về vị trí của đoạn mục tiêu trong bản ghi âm.

Tiếp theo, nó so sánh các đặc điểm cấu trúc và đề xuất những tham số kịch bản nào có thể được thay đổi để đến gần hơn với đoạn mong muốn.

Điều này không mang lại kết quả tức thì, nhưng trông giống như một vòng lặp con người-AI đang hoạt động để tiệm cận âm thanh mục tiêu.

4. Có lẽ các nhật ký hiện tại đang bị nén quá mức

Có nghi ngờ rằng chất lượng của các nhật ký phân tích là không đủ để so sánh chính xác. Nếu con người nghe thấy những khác biệt mà AI không thể suy ra từ nhật ký, thì nút thắt cổ chai (bottleneck) có thể nằm không chỉ ở bộ tạo sinh, mà còn ở độ phân giải của quá trình phân tích.

Cần phải kiểm tra riêng xem chất lượng các đề xuất của AI thay đổi như thế nào khi giảm độ nén nhật ký và tăng số lượng đặc điểm thời gian/ phổ (temporal/spectral features).

5. Những âm thanh thực được tìm thấy tình cờ cũng là tri thức

Khi tìm kiếm Kha, một trong các biến thể đã được cảm nhận là Va.

Điều này hữu ích vì hai lý do:

1. bản thân âm thanh được tìm thấy có thể sẽ cần thiết sau này;
2. sự chuyển đổi từ "tiếng xì" trước đó sang âm Va được cảm nhận cho thấy hướng đi trong không gian tham số.

Những phát hiện tình cờ như vậy cần được lưu lại cùng với các thay đổi tham số, bởi vì chúng giúp lập bản đồ không gian của các âm thanh có thể có.

6. Không gian hiện vẫn nằm trong vùng speech-like sounds (âm thanh giống giọng nói)

Mặc dù AudioContext có tiềm năng vạn năng, nhưng khi thay đổi các tham số của bộ tạo sinh định hướng giọng nói (voice-oriented) hiện tại, chúng ta chủ yếu vẫn gặp phải những âm thanh được cảm nhận là giọng nói/ngữ âm hoặc gần với chúng, chứ không phải là các âm thanh thực ngẫu nhiên như tiếng sủa, tiếng chim hót hay tiếng móng guốc gõ.

Điều này không chứng minh tính vạn năng và cũng không chứng minh độ bao phủ hoàn chỉnh của tiếng nói con người. Một kết luận thận trọng hơn:

kiến trúc bộ tạo sinh hiện tại đã chứa một inductive bias mạnh mẽ về phía không gian âm thanh giống giọng nói (voice-like sound space).

Đây có thể là một thuộc tính hữu ích, bởi vì việc tìm kiếm không diễn ra trên toàn bộ không gian âm thanh có thể có, mà nằm trong một vùng hẹp hơn.

7. Mục tiêu thực tế đã được làm rõ

Bây giờ câu hỏi chính không chỉ là "cần những tham số nào để tổng hợp giọng nói", mà là:

chúng ta có thể mô tả vùng ngôn ngữ con người mong muốn một cách nhỏ gọn đến mức nào, mà không phải quay lại hàng nghìn mẫu (samples).

Các điểm cực trị đã rõ ràng:

• waveform / μ-law — chất lượng cao và tính vạn năng, nhưng có tới hàng nghìn giá trị mỗi giây;
• VoiceScenario — tính nhỏ gọn và khả năng điều khiển, nhưng các giới hạn về chất lượng vẫn chưa được biết rõ.

Công việc tiếp theo nên khám phá khoảng cách giữa chúng và mối quan hệ phụ thuộc:

chất lượng ↑ ↔ độ phức tạp/kích thước biểu diễn ↑.

Một con đường khả thi là dần dần bổ sung chỉ những cơ chế mang lại perceptual gain đáng chú ý, đồng thời bảo toàn tính cấu trúc của mô hình.