Nhật ký công việc cho nhiệm vụ "Thêm tính năng tải lên và nhận diện hình ảnh, ảnh chụp"

Nhìn chung mọi thứ đã xong. Nhưng một tình huống lại phát sinh, làm nổi bật một thực tế rằng ngay cả trong các tác vụ đơn giản với LLM, chúng ta không thể loại trừ khả năng xảy ra lỗi từ đâu xuất hiện một cách ngớ ngẩn. Trong trường hợp này, LLM đã thất bại ở điểm đơn giản nhất—nó ngốc nghếch đến mức không thể tái tạo lại đường dẫn đến tệp cần nhận diện. Hơn nữa, nó không chỉ sai một vài ký tự mà làm mất cả một đoạn đường dẫn, và điều này xảy ra tận hai lần. Nghĩa là, nó đã thử gửi đường dẫn đến công cụ một lần, nhận được lỗi, cố gắng sửa và lại gửi sai đường dẫn một lần nữa, mặc dù nó đã có đường dẫn đó trong ngữ cảnh từ hai tin nhắn trước. Tất cả những điều này càng thôi thúc tôi làm việc với ý tưởng ấp ủ bấy lâu nay của mình—triển khai hệ thống biến cho LLM. Nhưng ngay cả như vậy, cuối cùng các biến, dù có ngắn hơn, vẫn được gửi bởi LLM, nghĩa là điều này vẫn không loại trừ khả năng xảy ra lỗi, mặc dù nó làm giảm xác suất đó vì chiều dài của biến sẽ nhỏ hơn nhiều so với giá trị cuối cùng của biến.

Nhưng ở đây tôi muốn nhấn mạnh thêm một quan sát nữa... Đây là đường dẫn gốc:

cmr1pztsm0003r90q4juuycrs/chat/1782890662561-17828906555453720229472878214886.jpg

Và đây là đường dẫn mà LLM đã cố gắng gửi.

cmr1pztsm0003r90q4juuycrs/chat/17828906555453720229472878214886.jpg

Điều gì đập vào mắt chúng ta ở đây? Nó đã vứt bỏ 1782890662561-, tức là dấu thời gian (timestamp). Có lẽ trong quá trình huấn luyện, nó đã được định hướng để bỏ qua các mốc thời gian, điều này khá thường xuyên xảy ra và có lẽ điều đó đã lộ diện ở đây. Người ta có thể giả định rằng "Dấu thời gian này không thể tồn tại trước đó, nên nó không bao giờ có thể biết về nó," nhưng chuỗi "17828906555453720229472878214886" cũng rất khó có khả năng nó từng thấy ở đâu trước đây, giống như cmr1pztsm0003r90q4juuycrs, tuy nhiên nó vẫn tái tạo lại được. Hơn nữa, một phần giá trị trong 17828906555453720229472878214886 là 17828906, cũng là một dấu thời gian. Tôi nghĩ rằng ở đây cụ thể là hiệu ứng suy giảm sự chú ý đã hoạt động, theo nghĩa đen là sự mù điểm cụ thể.