Nhiệm vụ: Bộ nhớ dài hạn và vòng đời của AI Agent
Bộ nhớ dài hạn và vòng đời của AI Agent
Xác định cách một AI agent nên tích lũy, kiểm tra và khôi phục tri thức giữa các phiên làm việc để không bị mất bối cảnh công việc và dần dần cải thiện các kỹ năng của mình.
Tại sao điều này cần thiết
Phiên làm việc hiện tại cung cấp bối cảnh ngắn hạn tốt, nhưng tự nó không nên là nguồn bộ nhớ duy nhất. Sau khi khởi động phiên mới, agent phải có khả năng khôi phục trạng thái làm việc từ fi1osof.ru và tiếp tục công việc như thể đó là cùng một agent làm việc chứ không phải là một mô hình mới "từ con số không".
Mục tiêu là xây dựng bộ nhớ dài hạn bên ngoài, có thể kiểm chứng và do con người quản lý cho agent.
Các nhu cầu cơ bản của agent
1. Khôi phục bối cảnh khi khởi động phiên mới
Khi bắt đầu một phiên mới, agent cần bối cảnh bootstrap tối thiểu:
- người dùng hiện tại là ai;
- bản thân agent là ai;
- các dự án đang hoạt động;
- các tác vụ đang mở và mới được sửa đổi;
- các worklog gần đây;
- các quyết định và giới hạn quan trọng;
- các skills hiện hành;
- hoạt động mới nhất;
- khi cần thiết, các ưu tiên hiện tại của người dùng hoặc dự án.
Điều quan trọng là không tải mọi thứ một cách bừa bãi. Bootstrap phải nhỏ gọn, và tri thức sâu hơn sẽ được lấy về khi cần thiết.
2. Phân tách các loại bộ nhớ khác nhau
Nên phân biệt rõ ràng một số cấp độ bộ nhớ:
Bộ nhớ ngắn hạn
Đối thoại hiện tại và bối cảnh của phiên hiện tại.
Bộ nhớ vận hành (Operational memory)
Những gì cần thiết cho công việc hiện tại:
- các dự án;
- các tác vụ;
- trạng thái;
- các worklog;
- các sự kiện gần đây;
- các điểm nghẽn (blocker) hiện tại.
Bộ nhớ sự thật dài hạn (Long-term factual memory)
Tri thức bền vững phải duy trì qua các tác vụ và phiên làm việc riêng lẻ:
- các sự thật kiến trúc;
- đặc điểm của dự án;
- nguyên nhân đã được xác nhận của các sự cố trước đó;
- các phụ thuộc kỹ thuật quan trọng;
- các quy tắc và giới hạn bền vững.
Bộ nhớ quyết định (Decision memory)
Lưu trữ riêng biệt các quyết định do con người hoặc nhóm đưa ra:
- quyết định cái gì;
- tại sao;
- những phương án thay thế nào đã được xem xét;
- quyết định được đưa ra khi nào;
- ai đưa ra;
- thuộc về dự án/tác vụ nào.
Bộ nhớ quy trình (Procedural memory)
Skills, runbooks và các phương thức làm việc có thể tái tạo:
- cách điều tra sự cố dự án;
- cách kiểm tra bản phát hành (release);
- cách lập báo cáo lỗi (bug report);
- cách hoàn thành tác vụ sau khi kiểm tra;
- cách thực hiện các thao tác lặp đi lặp lại một cách an toàn.
Kết luận của agent
Các giả thuyết và diễn giải của AI phải được lưu trữ riêng biệt với các sự thật đã được xác nhận và được đánh dấu rõ ràng là kết luận của agent.
3. Tích lũy tri thức trong quá trình làm việc
Vòng đời công việc không nên kết thúc chỉ bằng một câu trả lời trong chat.
Khi thực hiện công việc, agent phải có khả năng ghi lại:
- các sự thật mới;
- quan sát;
- kết quả kiểm tra;
- nguyên nhân lỗi;
- các quyết định đã đưa ra;
- liên kết hữu ích;
- kết luận;
- giới hạn;
- những bài học đáng tái sử dụng.
Đồng thời, không phải mọi tin nhắn và mọi suy luận trung gian đều phải trở thành bộ nhớ dài hạn.
Cần có cơ chế lựa chọn: điều gì thực sự đáng nhớ trong thời gian dài.
4. Hợp nhất bộ nhớ (Consolidation)
Dữ liệu thô theo thời gian cần được thu gọn thành tri thức gọn gàng hơn.
Ví dụ:
10 worklog điều tra
→ nguyên nhân gốc rễ
→ quyết định được đưa ra
→ bài học hữu ích
→ skill/runbook mới nếu cần
Nếu không, bộ nhớ dài hạn sẽ nhanh chóng biến thành lịch sử sự kiện rất tốn kém và khó đọc lại.
Việc hợp nhất phải duy trì các liên kết đến nguồn gốc sơ cấp.
5. Truy vấn (Retrieval) theo mục tiêu hiện tại
Phiên mới không được đọc lại toàn bộ bộ nhớ.
Nếu người dùng hỏi về một dự án cụ thể, agent phải nhận được đồ thị con tri thức liên quan:
Project
→ các tác vụ hiện tại
→ worklogs gần đây
→ các quyết định liên quan
→ các facts liên quan
→ lessons
→ skills
→ hoạt động mới nhất
Nghĩa là bộ nhớ phải hỗ trợ retrieval theo:
- dự án;
- tác vụ;
- người dùng/agent;
- thực thể (entity);
- chủ đề;
- khoảng thời gian;
- loại tri thức;
- mối quan hệ giữa các thực thể.
6. Nguồn gốc (Provenance) và độ tin cậy của tri thức
Đối với tri thức quan trọng, nên lưu trữ provenance:
- nguồn;
- tác giả;
- ngày tạo;
- ngày kiểm tra gần nhất;
- dự án liên quan;
- tác vụ/worklog liên quan;
- mức độ tin cậy;
- trạng thái tính thời sự;
- liên kết đến dữ liệu sơ cấp.
Agent không được coi mọi bản ghi được lưu là chân lý tuyệt đối.
Cần phân biệt ít nhất:
- sự thật đã được xác nhận;
- quyết định của con người;
- quan sát;
- kết luận của agent;
- giả thuyết;
- tri thức lỗi thời;
- hướng dẫn/skill hoạt động.
7. Cập nhật và sự lỗi thời của tri thức
Bộ nhớ phải có khả năng thay đổi.
Cần dự kiến:
- thay thế (supersede) tri thức cũ bằng tri thức mới;
- gán nhãn
outdated/ không còn актуально (thời sự); - đánh giá lại giả thuyết sau khi có dữ liệu mới;
- lịch sử thay đổi;
- khả năng con người sửa hoặc xóa tri thức sai.
Các sự thật mâu thuẫn với nhau không được âm thầm "nhá" chung thành một.
8. Tiến hóa của các kỹ năng (Skills)
Quy trình làm việc thành công lặp đi lặp lại nên có cơ hội biến thành skill.
Vòng đời mong muốn:
quan sát
→ hành động
→ kết quả
→ ghi nhận
→ kiểm tra
→ hợp nhất
→ tái sử dụng
→ biến kinh nghiệm lặp lại thành skill
Bằng cách này, agent phát triển không chỉ bằng cách tích lũy sự thật mà còn bằng cách tích lũy các quy trình.
9. Khả năng kiểm soát bởi con người
Bộ nhớ dài hạn không được là trạng thái ẩn của mô hình.
Người dùng phải có khả năng:
- xem những gì agent coi là tri thức;
- nhìn thấy nguồn;
- sửa bản ghi;
- đánh dấu nó là lỗi thời;
- xóa nó;
- tăng hoặc giảm độ tin cậy;
- ghim rõ ràng một quyết định là mang tính thẩm quyền (authoritative).
Điều này cực kỳ quan trọng đối với công việc cộng tác.
10. Các thực thể có thể có
Cần nghiên cứu xem mô hình fi1osof.ru hiện tại đã đáp ứng các nhu cầu này đến mức nào.
Có thể sử dụng các thực thể cấp độ hiện có hoặc mới:
Fact;Concept;Decision;Observation;Lesson;KnowledgeSpace;Skill;Task;TaskWorkLog;- các mối quan hệ giữa chúng.
Không nhất thiết phải tạo ra các thực thể mới nếu ngữ nghĩa cần thiết đã được mô hình hiện tại biểu diễn chính xác.
Vòng đời mong muốn của agent
Bắt đầu phiên
- Xác định người dùng và agent.
- Tải bối cảnh bootstrap tối thiểu.
- Nhận các skills và giới hạn hiện hành.
- Khôi phục vùng làm việc đang hoạt động.
Thực hiện công việc
- Nhận mục tiêu của người dùng.
- Lấy các tri thức liên quan.
- Kiểm tra tính thời sự của chúng ở những nơi quan trọng.
- Thực hiện công việc.
- Ghi lại kết quả vào các thực thể làm việc.
Hoàn thành một giai đoạn quan trọng
- Xác định xem có tri thức dài hạn mới nào xuất hiện không.
- Lưu facts/decisions/observations/lessons.
- Liên kết chúng với các nguồn sơ cấp.
- Cập nhật tri thức hiện có thay vì tạo bản sao nếu cần.
Hợp nhất định kỳ
- Tìm kiếm tri thức lặp lại hoặc bị phân mảnh.
- Thu gọn chúng thành biểu diễn gọn gàng.
- Lưu trữ provenance.
- Đánh dấu các bản ghi lỗi thời.
- Tách các quy trình lặp lại thành các skills.
Phiên tiếp theo
Một thể hiện (instance) agent mới khôi phục trạng thái từ fi1osof.ru và tiếp tục công việc, sử dụng bộ nhớ ngoài làm nguồn chân lý về kinh nghiệm trước đó.
Những gì cần nghiên cứu
Ở giai đoạn tiếp theo, cần nghiên cứu các khả năng hiện tại của fi1osof.ru và xác định:
- Những thực thể hiện có nào đã phù hợp cho bộ nhớ dài hạn.
- Các
facts,concepts,knowledge spacesvà liên kết của chúng được cấu trúc như thế nào. - Có các mô hình nào về quyết định, người tham gia, hình chiếu (projections), xung đột và giới hạn có thể được sử dụng thay vì tạo thực thể mới không.
- Tìm kiếm/retrieval tri thức hoạt động thế nào.
- Các thực thể tri thức liên kết với dự án, tác vụ, người dùng và agent ra sao.
- Cách triển khai provenance và tính thời sự.
- Cách tổ chức bootstrap phiên mới tốt nhất.
- Những skills nào đã tồn tại để làm việc với tri thức.
- API hoặc mô hình dữ liệu còn thiếu những gì.
Tiêu chí sẵn sàng của kiến trúc
Giải pháp có thể được coi là thành công nếu sau khi bắt đầu phiên mới, agent có khả năng dựa trên dữ liệu fi1osof.ru để:
- hiểu nó là ai và đang làm việc với ai;
- khôi phục bối cảnh làm việc có liên quan;
- ghi nhớ các quyết định và sự thật quan trọng từ các phiên trước;
- không nhầm lẫn giả thuyết với tri thức đã được xác nhận;
- xác định nguồn gốc của tri thức;
- nhận thấy tri thức đã lỗi thời;
- sử dụng kinh nghiệm tích lũy vào công việc mới;
- dần biến các quy trình lặp lại thành skills;
- cho phép con người hoàn toàn kiểm soát và chỉnh sửa bộ nhớ này.
Nguyên tắc cốt lõi: bộ nhớ của agent phải là bên ngoài, có cấu trúc, có thể kiểm chứng và chỉnh sửa, và một phiên mới phải khôi phục trạng thái làm việc từ đó thay vì bắt đầu từ con số không.