Nhiệm vụ: Thêm trình đọc PDF

Nhân tiện, việc phân tích 32 trang PDF này tốn khoảng $0.16

Đầu tiên, tôi đã thêm một trình phân tích cú pháp thông qua openrouter với việc chia trang trước. Tốc độ và chi phí thật đáng kinh ngạc. Thời gian phân tích tài liệu một trang là khoảng 8 giây.

Còn về chi phí - chỉ vài phần mười của một xu.

Một tài liệu lớn hơn - 3.2 megabyte, 32 trang.

Thời gian lâu hơn đáng kể - gần 5 phút.

Nhưng đây chỉ là vấn đề chưa tối ưu về thứ tự xử lý - mỗi trang được phân tích tuần tự, trong khi lẽ ra nên làm theo từng lô. Tôi chỉ cần tinh chỉnh lại logic sao cho một trang không chặn trang khác, nhưng đồng thời cũng không gửi tất cả cùng một lúc - vì nếu không có thể gặp lỗi giới hạn tốc độ (rate limit). Mặc dù hiện tại trong dự án này, tôi sẽ cho gửi tất cả cùng lúc để kiểm tra xem lỗi rate limit có xuất hiện hay không. ChatGPT nói rằng OpenRouter không áp 3đặt giới hạn riêng của họ đối với các mô hình trả phí, mà giới hạn có thể đến từ nhà cung cấp cuối cùng.

Добавил отправку всех страниц батчем (ну и параметр конечно, можно батчем, а можно последовательно).

В итоге 32 страницы отработало за 21 секунду, вместо 4 с половиной минуты. Стоимость все та же = $.016 за все страницы. Как по мне, так очень хороший результат.