Nền tảng lý thuyết của dự án được tập hợp trong khái niệm chính ["uchitsya-legko.rf — học đọc như giải mã mã chữ viết"](/concepts/uchitsya-legko-rf-obuchenie-chteniyu-kak-deshifrovke-pismennogo-koda). Đây là điểm trung tâm của dự án: mô tả mô hình chung, trạng thái hiện tại và liên kết các khái niệm cụ thể.

Hiện tại, dự án đang ở giai đoạn **Ý tưởng (Idea)**. Lý thuyết cơ bản về việc đọc như một quá trình khôi phục thông tin từ mã chữ viết đã được hình thành. Các thực thể thông tin làm nền tảng cho việc học đã được ghi nhận: đối tượng và tình huống, khái niệm, hình ảnh, từ nói, âm thanh, từ viết, chữ cái và các phần cấu trúc lớn hơn của từ.

Các thành phần chính của lý thuyết:

- [Đọc là nhận diện từ và khôi phục ý nghĩa, chứ không phải là phát âm tuần tự các chữ cái](/concepts/chtenie-eto-raspoznavanie-slova-i-vosstanovlenie-smysla).
- [Từ viết liên kết nhiều biểu hiện của cùng một nội dung](/concepts/pismennoe-slovo-svyazyvaet-neskolko-predstavleniy).
- [Học đọc phải đi từ điểm tựa đã biết đến mã chưa biết](/concepts/obuchenie-chteniyu-ot-izvestnyh-opor-k-neizvestnomu-kodu).
- [Từ vựng nói là cơ sở nhận diện khi học đọc](/concepts/ustnyy-slovar-baza-raspoznavaniya-pri-obuchenii-chteniyu).
- [Từ dài phải được làm rõ thông qua các phần cấu trúc quen thuộc](/concepts/dlinnoe-slovo-cherez-znakomye-strukturnye-chasti).
- [Các gợi ý phải biến mất dần khi các mối liên hệ được làm chủ](/concepts/podskazki-dolzhny-postepenno-ischezat).

Hướng đi thực tế là một hệ thống tương tác, trong đó trẻ bắt đầu với các đối tượng và từ ngữ dễ nhận biết, xác nhận âm thanh của chúng, làm quen với cách viết, phát hiện các yếu tố lặp lại của mã chữ viết và sau đó áp dụng các sự tương ứng tìm được để giải mã các từ mới.

Nguyên tắc quan trọng: hệ thống không được đòi hỏi trẻ phải tiếp thu đồng thời nhiều cấp độ chưa biết. Nếu trẻ chưa biết khái niệm, từ nói, âm thanh và chữ cái của nó, thì từ đó không phù hợp để làm tài liệu bắt đầu. Bài tập tiếp theo phải dựa trên kiến thức đã được xác nhận của riêng đứa trẻ đó.

Giai đoạn tiếp theo của dự án là biến lý thuyết thành cơ chế tương tác tối thiểu và kiểm tra tiêu chí chính: liệu trẻ có khả năng chuyển các mối liên hệ đã thành thạo sang các từ chưa từng gặp trước đó, chứ không chỉ ghi nhớ các ví dụ được hiển thị.

Một dự án học đọc tương tác dưới dạng giải mã dần dần mã chữ viết thông qua các ý nghĩa, hình ảnh và từ ngữ phát âm mà trẻ đã quen thuộc.

uchitsya-legko.rf

Cần mô tả và hiện thực hóa kịch bản tối thiểu để kiểm tra ý tưởng cốt lõi của dự án mà chưa cần xây dựng một khóa học đầy đủ.

Cơ sở lý thuyết: [khái niệm chính của dự án](/concepts/uchitsya-legko-rf-obuchenie-chteniyu-kak-deshifrovke-pismennogo-koda) và [học đọc từ điểm tựa quen thuộc đến mã chưa biết](/concepts/obuchenie-chteniyu-ot-izvestnyh-opor-k-neizvestnomu-kodu).

Chu trình tối thiểu phải bao gồm:

1. hiển thị một số hình ảnh quen thuộc với trẻ;
2. trẻ chọn một đối tượng đã biết;
3. phát âm từ đó và xác nhận đã nhận ra;
4. hiển thị từ được viết ra;
5. lặp lại chu trình này với một số từ có các yếu tố chữ cái giao nhau;
6. bài tập trong đó một phần điểm tựa được gỡ bỏ và trẻ phải phục hồi từ hoặc chọn hình ảnh tương ứng;
7. bài tập cuối cùng với một từ chưa được hiển thị trước đó, từ có thể được giải mã từ các quy tắc tương ứng đã nắm vững.

Không đưa các câu, văn bản dài, ngữ pháp và gamification phức tạp vào MVP. Nhiệm vụ chính là kiểm tra chính cơ chế giải mã.

Xác định một chu trình tương tác ngắn duy nhất từ hình ảnh và âm thanh quen thuộc cho đến việc nhận diện cách viết mới.

Thiết kế chu trình học tập MVP tối thiểu

Điều cần thiết không phải là một từ điển lớn, mà là một tập hợp tối thiểu các ví dụ được chọn lọc đặc biệt để kiểm tra giả thuyết.

Nền tảng: [từ điển khẩu ngữ làm cơ sở nhận diện](/concepts/ustnyy-slovar-baza-raspoznavaniya-pri-obuchenii-chteniyu) và [mạng lưới các biểu tượng của cùng một nội dung](/concepts/pismennoe-slovo-svyazyvaet-neskolko-predstavleniy).

Đối với mỗi từ, cần có:

- ý nghĩa mà trẻ em có thể hiểu được;
- hình ảnh có thể nhận diện rõ ràng;
- phát âm tự nhiên;
- cách viết;
- đánh dấu các tương ứng chữ cái/âm thanh mà nó cho phép minh họa;
- chỉ ra những từ mới nào có thể được giải mã tiếp theo dựa trên các ví dụ đã học.

Bộ này phải nhỏ gọn — đủ cho một kịch bản MVP duy nhất. Các từ phải quen thuộc với trẻ em và có các chữ cái trùng lặp để từ một số cặp đã biết có thể thực hiện việc giải mã mới. Không sử dụng các từ hiếm hoặc phức tạp chỉ vì lợi ích của một bộ chữ cái thuận tiện.

Thu thập một bộ học tập nhỏ gọn để kiểm tra khả năng chuyển đổi sự tương ứng giữa chữ cái sang các từ mới.

Lựa chọn tập hợp tối thiểu các từ, hình ảnh và âm thanh cho MVP

MVP phải phân biệt chính xác những gì trẻ đã biết, thay vì chỉ lưu trữ tiến độ chung của bài học.

Cơ sở: [từ viết liên kết nhiều thể hiện của cùng một nội dung](/concepts/pismennoe-slovo-svyazyvaet-neskolko-predstavleniy) và [các gợi ý phải dần biến mất](/concepts/podskazki-dolzhny-postepenno-ischezat).

Đối với MVP, một mô hình trạng thái tối thiểu cho mỗi từ/yếu tố học tập là đủ, ví dụ:

- nhận biết hình ảnh;
- nhận biết từ phát âm;
- liên kết hình ảnh và âm thanh;
- nhận biết từ viết;
- biết mối tương quan giữa chữ cái và âm thanh riêng lẻ;
- có thể áp dụng nó trong một từ mới.

Cần xác định các quy tắc đơn giản về thời điểm gỡ bỏ gợi ý tiếp theo và bài tập nào sẽ được hiển thị tiếp theo. Không xây dựng hệ thống thích ứng phức tạp: chỉ cần một vài chuyển đổi minh họa cần thiết để kiểm tra giả thuyết chính là đủ.

Xác định những mối liên hệ nào hệ thống coi là đã thành thạo và khi nào có thể ẩn hình ảnh, âm thanh hoặc cách viết.

Xác định mô hình kiến thức tối thiểu của trẻ và quy tắc giảm bớt gợi ý

Xây dựng phiên bản web đơn giản của MVP dựa trên [khái niệm chính của dự án](/concepts/uchitsya-legko-rf-obuchenie-chteniyu-kak-deshifrovke-pismennogo-koda).

Nguyên mẫu phải có khả năng:

- hiển thị hình ảnh;
- phát lại phát âm đã ghi âm;
- hiển thị cách viết của từ và các thành phần riêng lẻ của nó;
- chấp nhận lựa chọn của trẻ;
- chuyển đổi các nhiệm vụ tùy thuộc vào trạng thái nắm vững đơn giản;
- ẩn các gợi ý riêng lẻ;
- đưa ra ít nhất một từ mới kiểm tra để kiểm tra khả năng chuyển giao;
- ghi lại các câu trả lời và thời gian/thứ tự thử nghiệm với số lượng đủ cho việc phân tích sau này.

Không cần tài khoản, thanh toán, CMS phức tạp, lớp hệ thống thiết kế lớn hoặc cơ chế trò chơi hoàn chỉnh. Giá trị của MVP là một thử nghiệm hoạt động, chứ không phải là một sản phẩm hoàn chỉnh.

Triển khai một nguyên mẫu tương tác hoạt động, trải qua một chu trình học tập hoàn chỉnh mà không cần cơ sở hạ tầng nền tảng thừa thãi.

Xây dựng nguyên mẫu trình duyệt cho MVP tối thiểu

Sau khi có được bản mẫu hoạt động, hãy tiến hành một đợt kiểm tra ban đầu nhỏ với trẻ em thực tế.

Tiêu chí chính xuất phát từ [khái niệm đọc là nhận diện và khôi phục ý nghĩa](/concepts/chtenie-eto-raspoznavanie-slova-i-vosstanovlenie-smysla): trẻ không chỉ lặp lại các câu trả lời quen thuộc mà phải sử dụng mã đã được làm chủ.

Cần ghi nhận tối thiểu:

- trẻ đã biết những hình ảnh và từ ngữ nói nào trước buổi học;
- những mối liên hệ giữa chữ cái và âm thanh nào đã được giới thiệu;
- trẻ bắt đầu nhận ra các mặt chữ đã được hiển thị nhanh đến mức nào;
- trẻ có giải mã được từ kiểm soát mà trước đó chưa từng thấy trong hệ thống hay không;
- trẻ có liên kết được kết quả với hình ảnh/ý nghĩa chính xác hay không;
- lỗi xuất hiện chính xác ở đâu: ý nghĩa, âm thanh, chữ cái, cách ghép từ hoặc cách nhận diện.

Đừng cố gắng chứng minh hiệu quả của toàn bộ phương pháp bằng thống kê ngay trong bài kiểm tra đầu tiên. Mục tiêu là hiểu xem hiệu ứng chuyển giao quan sát được có tồn tại hay không và chuỗi giả định bị đứt gãy ở đâu.

Kiểm tra xem cơ chế có giúp trẻ khôi phục lại một từ chưa từng được hiển thị trước đó hay không, chứ không chỉ ghi nhớ các ví dụ đã học.

Thực hiện kiểm tra MVP ban đầu với trẻ em và ghi nhận hiện tượng chuyển giao

## Bối cảnh

Trong khuôn khổ dự án `учиться-легко.рф`, một nguyên mẫu ban đầu của bộ tổng hợp giọng nói đã được tạo ra bằng Web Audio API mà không cần bản ghi âm. Âm thanh được tạo ra theo dạng tham số: nguồn giọng nói, tiếng ồn và bộ lọc formant xác định trạng thái của âm vị, trong khi sự kết hợp của hai âm thanh được cấu trúc như một chuyển tiếp giữa các trạng thái.

Giả thuyết làm việc:

> **Một âm thanh riêng lẻ có thể được biểu diễn như trạng thái của hệ thống cấu âm - âm học, và sự kết hợp của các âm thanh như một quỹ đạo thời gian chuyển tiếp giữa các trạng thái đó.**

Điều này có khả năng cho phép không lưu trữ các bản ghi sẵn của chữ cái, âm tiết và tổ hợp, mà tổng hợp chúng một cách động và nghiên cứu chính cơ chế chuyển từ âm thanh này sang âm thanh khác.

## Những gì đã có sẵn

Nguyên mẫu có khả năng:

- xác định các nguyên âm tiếng Nga và một phần phụ âm bằng một tập hợp tham số;
- tạo ra âm thanh thông qua Web Audio API;
- phát một âm vị riêng lẻ;
- nội suy trơn tru các tham số giữa hai âm vị;
- phát chuyển tiếp kiểu `М → А`;
- điều khiển chuyển tiếp thông qua thanh trượt `0..1`;
- tính toán riêng biệt giọng nói, tiếng ồn, formant, thành phần mũi và âm lượng.

Việc triển khai hiện tại vẫn còn đơn giản hóa: hầu hết các tham số được nội suy đồng thời và tuyến tính.

## Những gì cần nghiên cứu

### 1. Mô hình âm thanh tiếng Nga

Xác định xem một tập hợp tham số nhỏ có đủ để tổng hợp nhận diện được các âm thanh cơ bản của tiếng Nga hay không.

Tối thiểu cần kiểm tra:

- nguyên âm `а, о, у, э, ы, и`;
- âm vang `м, н, л, р`;
- âm xát `с, з, ф, в, ш, ж, х`;
- âm tắc `п, б, т, д, к, г`;
- các biến thể mềm và cứng của phụ âm.

Cần phải hiểu âm thanh nào có thể được tổng hợp tương đối đơn giản, và âm thanh nào đòi hỏi mô hình đường phát âm phức tạp hơn.

### 2. Chuyển tiếp giữa các âm thanh

Kiểm tra giả thuyết rằng sự kết hợp tự nhiên không thể được mô tả bằng phép nội suy tuyến tính đơn giản của tất cả các tham số.

Đối với các tổ hợp khác nhau, nghiên cứu các quỹ đạo thời gian riêng biệt:

- giọng nói;
- tiếng ồn;
- vị trí formant;
- khoang mũi;
- mức độ chồng lấp/thu hẹp;
- vị trí quy ước của lưỡi và môi;
- thời gian giữ trạng thái đầu tiên;
- thời điểm bắt đầu tái cấu trúc sang trạng thái thứ hai.

Đặc biệt kiểm tra các tổ hợp:

- `ма, мо, му, ми`;
- `са, со, су, си`;
- `па, ба, та, да`;
- các cặp hữu thanh/vô thanh;
- các cặp cứng/mềm.

### 3. Không gắn kết trước với mô hình âm tiết

Không coi âm tiết là đơn vị tổng hợp bắt buộc.

Nghiên cứu quá trình tổng quát hơn:

`chuỗi chữ cái/âm vị → chuỗi trạng thái → quỹ đạo âm thanh liên tục`

Cần phải hiểu liệu có thể dạy trẻ em không phải là ghi nhớ các âm tiết có sẵn, mà là chính sự chuyển tiếp giữa các âm thanh.

Ví dụ:

`М → А → М → А`

có tiềm năng biến thành từ `мама` được phát liên tục mà không cần lưu trữ `МА` như một đối tượng riêng biệt.

### 4. Điều khiển tương tác

Kiểm tra giá trị giáo dục của việc điều khiển chuyển tiếp thủ công.

Ví dụ:

- hiển thị `М` ở bên trái;
- `А` ở bên phải;
- trẻ di chuyển thanh trượt;
- âm thanh thay đổi trong thời gian thực từ `/м/` sang `/а/`;
- sau đó hệ thống tự động phát toàn bộ chuyển tiếp tự nhiên.

Cần kiểm tra xem cơ chế này có giúp hiểu mối liên hệ giữa các âm thanh riêng lẻ và lời nói liên tục hay không.

### 5. So sánh với tổng hợp cấu âm

Nghiên cứu Modular Pink Trombone / Pink Trombone như một tài liệu tham khảo kiến trúc, nhưng không đặt mục tiêu chuyển đổi toàn bộ hệ thống.

Cần xác định mức độ tối thiểu của mô hình vật lý đủ cho nhiệm vụ dạy đọc.

Các lựa chọn có thể:

1. tổng hợp formant đơn giản hóa;
2. sự kết hợp giữa tổng hợp formant và cấu âm;
3. mô hình đường phát âm đầy đủ chỉ dành cho những âm thanh mà mô hình đơn giản là không đủ.

## Tiêu chí kết quả nghiên cứu

Nghiên cứu được coi là hữu ích nếu trả lời được ít nhất các câu hỏi sau:

1. Có thể tổng hợp các âm thanh cơ bản của tiếng Nga mà không cần bản ghi âm với độ nhận diện chấp nhận được không?
2. Những tham số nào là tối thiểu cần thiết cho mỗi lớp âm thanh?
3. Chuyển tiếp giữa hai âm thanh nghe tự nhiên đến mức nào với phép `lerp` đơn giản?
4. Những tham số nào nên bắt đầu và kết thúc chuyển tiếp ở những thời điểm khác nhau?
5. Có thể nhận được các âm `ма`, `са`, `па`, `ми` có thể nhận diện được dưới dạng quỹ đạo mà không cần lưu trữ chúng thành các bản ghi riêng biệt không?
6. Có thể xây dựng một chuỗi dài hơn theo cùng một cách, ví dụ như `мама` không?
7. Việc điều khiển chuyển tiếp thủ công có mang lại hiệu quả giáo dục và giúp trẻ hiểu cách một chuỗi chữ viết biến thành lời nói hay không?

## Sản phẩm kết quả

Dựa trên kết quả nghiên cứu, mong muốn nhận được:

- nguyên mẫu chạy trên trình duyệt hoạt động được;
- mô tả mô hình tham số âm vị;
- một số âm thanh tiếng Nga đã được tinh chỉnh;
- một số chuyển tiếp đã được tinh chỉnh;
- các quan sát về nơi mô hình đơn giản bị phá vỡ;
- quyết định xem có nên phát triển tiếp bộ tổng hợp của riêng mình hay sử dụng công cụ cấu âm hiện có làm nền tảng.

Kiểm tra xem liệu có thể sử dụng tổng hợp tiếng nói tham số để dạy đọc hay không: các âm tiếng Nga riêng lẻ là trạng thái, và sự kết hợp của chúng là các chuyển tiếp có điều khiển.

Nghiên cứu tổng hợp tham số các âm tiếng Nga và các chuyển tiếp giữa chúng

## Mục tiêu

Thêm tính năng phát âm tài liệu học tập đơn giản trên trình duyệt mà không cần backend TTS riêng biệt.

Kịch bản chính:

- trẻ nhìn thấy một chữ cái, âm tiết hoặc từ;
- nhấn nút phát;
- trình duyệt phát âm văn bản tương ứng.

## Cơ sở kỹ thuật

Sử dụng Web Speech API của trình duyệt:

- `SpeechSynthesisUtterance`;
- `window.speechSynthesis.speak()`;
- `window.speechSynthesis.cancel()`;
- `speechSynthesis.getVoices()` để chọn giọng đọc tiếng Nga phù hợp;
- `utterance.lang = 'ru-RU'`.

## Các tính năng cần hỗ trợ

- các chữ cái đơn lẻ;
- âm tiết;
- các từ đơn;
- phát lại nhiều lần;
- hủy phát lại hiện tại trước khi bắt đầu phát mới;
- chọn giọng đọc tiếng Nga nếu có sẵn;
- xử lý việc tải bất đồng bộ danh sách giọng đọc thông qua sự kiện `voiceschanged`.

## Quan trọng

Ở giai đoạn đầu, nhiệm vụ chỉ tập trung vào tính năng phát âm sẵn có của trình duyệt. Không kết hợp nó với các thử nghiệm về bộ tổng hợp giọng nói tự chế và phân tích PCM.

Sử dụng Web Speech API để phát các đơn vị học tập: chữ cái, âm tiết và từ đơn.

Thêm tính năng phát âm trên trình duyệt cho các chữ cái, âm tiết và từ đơn

## Mục tiêu

Thêm kịch bản trả lời bằng giọng nói đơn giản cho trẻ trong các bài tập có hình ảnh.

Ví dụ:

1. Hình ảnh con chó hiển thị trên màn hình.
2. Trẻ nhấn nút micrô.
3. Nói: "Chó".
4. Trình duyệt nhận diện những gì đã nói.
5. Ứng dụng nhận văn bản và so sánh với câu trả lời mong đợi.

Tương tự cho các câu trả lời ngắn như "cá", "mèo", "nhà", v.v.

## Nền tảng kỹ thuật

Sử dụng Web Speech API của trình duyệt:

- `SpeechRecognition` hoặc `webkitSpeechRecognition`;
- `recognition.lang = 'ru-RU'`;
- đối với câu trả lời đơn, dùng `continuous = false`;
- có thể dùng `interimResults = false` cho phiên bản đầu tiên đơn giản nhất;
- lấy kết quả từ `event.results` / `transcript`.

## Những gì cần hỗ trợ

- nút bắt đầu ghi âm;
- trạng thái trực quan "đang nghe";
- dừng lại sau một câu trả lời ngắn;
- nhận văn bản được nhận diện cuối cùng;
- chuẩn hóa văn bản trước khi so sánh: chữ thường, cắt khoảng trắng (trim), xóa dấu câu nếu cần thiết;
- so sánh với từ mong đợi;
- các trạng thái: chính xác / không nhận diện được / lỗi truy cập micrô / API không khả dụng;
- khả năng thử lại.

## Hạn chế

`SpeechRecognition` được hỗ trợ không đồng đều giữa các trình duyệt và có thể sử dụng dịch vụ nhận diện giọng nói bên ngoài của trình duyệt/nền tảng. Điều này có thể chấp nhận được đối với kịch bản này: nhiệm vụ không phải là nhận diện ngữ âm cục bộ hay dùng LLM, mà là câu trả lời một từ thực tế, ngắn gọn của trẻ.

Ở giai đoạn đầu, không cố gắng nhận diện lời nói tự do, câu hoàn chỉnh hay đánh giá phát âm âm vị.

Nhận diện câu trả lời bằng giọng nói ngắn gọn của trẻ qua Web Speech API trong các bài tập dạng "Cái gì hiển thị trong hình ảnh?".

Thêm tính năng nhận diện giọng nói đơn từ trên trình duyệt cho câu trả lời của trẻ

## Mục tiêu

Thêm hệ thống nhân vật giọng nói (`characters`) vào ứng dụng, qua đó trẻ có thể chọn phong cách lồng tiếng phù hợp theo cách trò chơi hóa.

Lý do chính: trẻ em khác nhau có thể cảm thấy thoải mái hơn với tốc độ nói và cao độ giọng khác nhau. Thay vì các cài đặt kỹ thuật `rate` / `pitch`, hãy cung cấp lựa chọn thông qua các nhân vật dễ hiểu.

## Ý tưởng cơ bản

Mỗi nhân vật lưu trữ một tập hợp các cài đặt cho `SpeechSynthesisUtterance`:

```ts
type VoiceCharacter = {
  id: string
  name: string
  rate: number
  pitch: number
  volume?: number
  voiceName?: string
  avatar?: string
}
```

Ví dụ:

```ts
const characters: VoiceCharacter[] = [
  {
    id: 'calm-bear',
    name: 'Gấu con',
    rate: 0.75,
    pitch: 0.85,
  },
  {
    id: 'default-friend',
    name: 'Bạn bè',
    rate: 1,
    pitch: 1,
  },
  {
    id: 'fast-bird',
    name: 'Chim nhỏ',
    rate: 1.15,
    pitch: 1.35,
  },
]
```

Cách sử dụng:

```ts
const utterance = new SpeechSynthesisUtterance(text)

utterance.lang = 'ru-RU'
utterance.rate = character.rate
utterance.pitch = character.pitch
utterance.volume = character.volume ?? 1
```

## Lựa chọn nhân vật

Cần có một giao diện người dùng lựa chọn nhân vật riêng biệt:

- thẻ có tên và hình ảnh trực quan;
- nút nghe thử;
- nhân vật đang hoạt động/được chọn;
- lưu lựa chọn cho các bài tập tiếp theo;
- khả năng chuyển đổi nhanh chóng sang nhân vật khác.

Lý tưởng nhất là lựa chọn này mang lại cảm giác giống như một cài đặt trò chơi hơn là một cấu hình âm thanh hệ thống.

## Trình tạo nhân vật

Cung cấp ngay một trình tạo riêng biệt nơi bạn có thể tạo nhân vật của riêng mình.

Các tham số tối thiểu:

- tên;
- `rate` — tốc độ nói;
- `pitch` — cao độ giọng nói;
- `volume` nếu cần;
- lựa chọn một trong các giọng đọc hệ thống có sẵn;
- hình ảnh trực quan/ảnh đại diện;
- nghe thử trên một câu kiểm tra.

Ví dụ về trạng thái trình tạo:

```ts
type VoiceCharacterDraft = {
  name: string
  rate: number
  pitch: number
  volume: number
  voiceName?: string
  avatar?: string
}
```

## Khoảng cài đặt

Không hiển thị các giá trị kỹ thuật cho trẻ như giao diện chính. Bên trong có thể sử dụng các phạm vi số của Web Speech API, nhưng giao diện người dùng nên được làm cho dễ hiểu:

```text
Tốc độ:
chậm ←─────●─────→ nhanh

Cao độ:
thấp ←─────●─────→ cao
```

Đối với người lớn/biên tập viên, các giá trị chính xác có thể được hiển thị bổ sung.

## Nghe thử

Trình tạo phải có nút nghe thử:

```ts
const previewCharacter = (
  character: VoiceCharacterDraft,
  text = 'Xin chào! Hãy cùng học nhé.',
) => {
  window.speechSynthesis.cancel()

  const utterance = new SpeechSynthesisUtterance(text)
  utterance.lang = 'ru-RU'
  utterance.rate = character.rate
  utterance.pitch = character.pitch
  utterance.volume = character.volume

  const voice = window.speechSynthesis
    .getVoices()
    .find(item => item.name === character.voiceName)

  if (voice) {
    utterance.voice = voice
  }

  window.speechSynthesis.speak(utterance)
}
```

## Kiến trúc

Điều quan trọng là tách biệt nhân vật khỏi chính cơ chế lồng tiếng.

```text
VoiceCharacter
↓
cài đặt giọng nói
↓
SpeechPlayer / Pronouncer
↓
SpeechSynthesisUtterance
```

Nghĩa là `SpeechPlayer` không được biết về một "Gấu con" hay "Chim nhỏ" cụ thể nào. Nó nhận các tham số đã được chuẩn bị sẵn.

## Lưu trữ

Cần chuẩn bị:

- các nhân vật tích hợp sẵn trong ứng dụng;
- các nhân vật do người dùng tạo;
- nhân vật đang được chọn hoạt động;
- lưu lựa chọn của người dùng giữa các phiên làm việc.

Chọn kho lưu trữ cụ thể trong phạm vi kiến trúc dự án: trạng thái cục bộ, localStorage hoặc thực thể máy chủ nếu các nhân vật cần được đồng bộ hóa giữa các thiết bị.

## Tiêu chí hoàn thành

Trẻ có thể chọn một trong các nhân vật giọng nói có sẵn, nghe sự khác biệt về tốc độ/cao độ nói, sử dụng nhân vật đó để lồng tiếng tiếp theo, đồng thời tạo nhân vật của riêng mình thông qua một trình tạo đơn giản và nghe ngay kết quả.

Tạo các nhân vật giọng nói trong trò chơi với các cài đặt tốc độ và cao độ khác nhau để trẻ có thể chọn tùy chọn thoải mái, đồng thời thêm trình tạo nhân vật tùy chỉnh.

Thêm tính năng lựa chọn và trình tạo nhân vật giọng nói

## Bối cảnh

Nhiệm vụ liên quan đến tính năng đọc văn bản của trình duyệt `cmu326hnm0bbpqw0qh5fgsv2f`.

Các thử nghiệm cho thấy `SpeechSynthesisUtterance` phát âm khá tốt nhiều từ đầy đủ, nhưng hoạt động kém và không ổn định với các chữ cái đơn lẻ, âm tiết ngắn và các phần của từ được cắt xén nhân tạo.

Các ví dụ quan sát được:

- `Собака` (Con chó) — bình thường;
- `Со` — phát âm gần giống `С`;
- `Р` — gần giống `Э`;
- `Ры` — bình thường;
- `Свинь` — có thể bị tách rời thành việc đọc tên các chữ cái;
- `Пель` — bình thường;
- `Ковь`, `Солн` — có thể bị đánh vần từng chữ cái;
- `Ко` → khoảng `Ка`;
- `Ар` → khoảng `А`;
- `Ре` → khoảng `Э`;
- `Де` → `Дэ`.

Kết luận: Không thể coi TTS của trình duyệt là nguồn đáng tin cậy cho phát âm chuẩn sư phạm đối với cơ chế `chữ cái → âm tiết → từ`.

---

## Mục tiêu

Xây dựng luồng TTS có quản lý của riêng bạn để tạo trước và kiểm tra âm thanh học tập.

Ý tưởng chính:

```text
nội dung thẻ
↓
chữ cái / âm tiết / từ
↓
TTS có kiểm soát
↓
kiểm tra thủ công/tự động
↓
tệp âm thanh sẵn sàng
↓
ứng dụng chỉ phát âm thanh đã chuẩn bị trước
```

Trong quá trình chạy của ứng dụng học tập, không dựa vào giọng hệ thống của người dùng cho các phát âm quan trọng.

---

## Những gì cần tạo

Tối thiểu:

- các chữ cái đơn lẻ, nơi phù hợp về mặt sư phạm;
- các âm tiết học tập;
- các từ đơn lẻ cho thẻ hình ảnh;
- các hướng dẫn/câu thoại ngắn của nhân vật nếu cần.

Đặc biệt quan trọng là tạo trước tất cả các âm tiết và từ thực sự được sử dụng trong nội dung học tập tĩnh.

Không cần một trình tạo vạn năng cho tất cả các tổ hợp có thể có của tiếng Nga. Chúng tôi chỉ tạo từ vựng thực sự có trong ứng dụng.

---

## Yêu cầu đối với TTS

Cần một công cụ/dịch vụ có thể kiểm soát phát âm tốt hơn so với `SpeechSynthesis` của trình duyệt.

Các tính năng mong muốn:

- giọng nói ổn định giữa các lần tạo;
- kiểm soát ngôn ngữ `ru-RU`;
- kiểm soát tốc độ `rate`;
- kiểm soát cao độ `pitch` nếu được hỗ trợ;
- SSML hoặc cơ chế điều khiển phát âm tương tự;
- khả năng đặt khoảng dừng;
- khả năng ảnh hưởng đến việc đọc các chữ cái/âm tiết riêng lẻ;
- xuất kết quả sang WAV/MP3/OGG;
- kết quả có thể tái tạo khi tạo hàng loạt.

Nếu một TTS cụ thể đọc kém một âm tiết nào đó, phải có khả năng chỉ định một chuỗi TTS đặc biệt tách biệt với văn bản hiển thị.

Ví dụ:

```ts
type PronunciationAsset = {
  text: string
  ttsText?: string
  audioSrc: string
}
```

trong đó:

```ts
{
  text: 'КО',
  ttsText: '<chuỗi đặc biệt/SSML để phát âm chính xác>',
  audioSrc: '/audio/syllables/ko.mp3',
}
```

---

## Luồng nội dung

Cung cấp một sổ đăng ký các đơn vị được tạo:

```ts
type TtsSourceItem = {
  id: string
  text: string
  kind: 'letter' | 'syllable' | 'word'
  ttsText?: string
  voiceId?: string
  rate?: number
  pitch?: number
}
```

Ví dụ:

```ts
const items: TtsSourceItem[] = [
  {
    id: 'word-dog',
    text: 'СОБАКА',
    kind: 'word',
  },
  {
    id: 'syllable-so',
    text: 'СО',
    kind: 'syllable',
    ttsText: '...',
  },
  {
    id: 'letter-r',
    text: 'Р',
    kind: 'letter',
    ttsText: '...',
  },
]
```

Sau đó là một tập lệnh/bước xây dựng riêng biệt:

```text
items
→ TTS API
→ audio files
→ manifest
```

---

## Manifest âm thanh hoàn chỉnh

Sau khi tạo, ứng dụng sẽ không còn hoạt động với TTS mà với các tài nguyên (asset) đã sẵn sàng.

Ví dụ:

```ts
type AudioAsset = {
  id: string
  text: string
  kind: 'letter' | 'syllable' | 'word'
  src: string
}
```

```ts
export const audioAssets: AudioAsset[] = [
  {
    id: 'word-dog',
    text: 'СОБАКА',
    kind: 'word',
    src: '/audio/words/sobaka.mp3',
  },
  {
    id: 'syllable-so',
    text: 'СО',
    kind: 'syllable',
    src: '/audio/syllables/so.mp3',
  },
]
```

Trong UI:

```ts
const audio = new Audio(asset.src)
audio.play()
```

---

## Ý tưởng kiến trúc quan trọng

Tách biệt ba lớp:

```text
Display text
≠
TTS input
≠
Generated audio asset
```

Điều này cho phép hiển thị `СО` cho trẻ em, nhưng gửi một chuỗi kỹ thuật/SSML khác đến TTS nếu đó là cách duy nhất để có được phát âm chính xác.

Nghĩa là không giả định rằng:

```text
những gì hiển thị trên màn hình
=
những gì cần truyền tải nguyên văn cho TTS
```

---

## Kiểm tra chất lượng

Mỗi đơn vị cần có trạng thái kiểm tra đơn giản:

```ts
type AudioReviewStatus =
  | 'generated'
  | 'approved'
  | 'rejected'
```

Quy trình tối thiểu:

1. tạo một loạt;
2. nghe lại;
3. đánh dấu các biến thể kém;
4. điều chỉnh `ttsText` / giọng đọc / tham số;
5. tạo lại chỉ những mục bị từ chối;
6. sau khi `approved`, sử dụng asset trong ứng dụng.

Kiểm tra đặc biệt cẩn thận:

- các phụ âm đơn lẻ;
- âm tiết hai chữ cái;
- âm tiết có dấu mềm/cứng (`ь`/`ъ`);
- các phần của từ bị cắt xén;
- các tổ hợp mà TTS có thể nhầm là từ viết tắt.

---

## Liên kết với nhân vật

Hệ thống nhân vật giọng nói có thể sử dụng cùng một luồng.

Nếu các nhân vật cần khác nhau về giọng đọc/nhịp độ/cao độ, đối với mỗi nhân vật bạn có thể:

- tạo một bộ asset riêng biệt;
- hoặc chỉ sử dụng các nhân vật cho các câu thoại không quan trọng, và giữ các chữ cái/âm tiết học tập ở một giọng chuẩn duy nhất.

Điều này cần được quyết định riêng sau khi ước tính khối lượng asset được tạo.

---

## Giai đoạn thực tế đầu tiên

Không chọn ngay TTS cuối cùng.

Đầu tiên, so sánh một số ứng viên trên một tập thử nghiệm ngắn gồm các chuỗi có vấn đề:

```text
Р
СО
РЫ
РЕ
ДЕ
КО
АР
СВИНЬ
ПЕЛЬ
КОВЬ
СОЛН
СОБАКА
СВИНЬЯ
```

Đánh giá cho mỗi ứng viên:

- tính chính xác của phát âm;
- độ ổn định;
- sự hiện diện của SSML/gợi ý âm vị (phoneme hints);
- chất lượng giọng tiếng Nga;
- khả năng tạo hàng loạt;
- chi phí;
- giới hạn bản quyền;
- sự thuận tiện khi lưu kết quả thành tệp âm thanh.

Sau đó, chọn TTS chính và tiến hành xây dựng luồng sản xuất (production pipeline).

## Tiêu chí hoàn thành

Có một quy trình có thể tái tạo, lấy danh sách tĩnh các chữ cái/âm tiết/từ học tập để tạo ra các tệp âm thanh đã được kiểm chứng, lưu chúng dưới dạng asset của ứng dụng và cho phép ghi đè riêng biệt chuỗi TTS kỹ thuật cho các trường hợp ngoại lệ.

Thiết lập quy trình TTS tùy chỉnh có kiểm soát để tạo trước âm thanh cho các chữ cái, âm tiết và từ thay vì phụ thuộc vào SpeechSynthesis không thể đoán trước của trình duyệt.