Nhiệm vụ: Thêm tính năng kiểm tra kết quả nhiệm vụ có thể thực thi vào cốt lõi haih-agent
Thêm tính năng kiểm tra kết quả nhiệm vụ có thể thực thi vào cốt lõi haih-agent
Chuyển phương pháp sử dụng các tập lệnh kiểm tra có thể tái tạo vào cốt lõi: tác nhân phải có sẵn khả năng sử dụng chúng làm tiêu chí hoàn thành và tự động thực thi sau khi thay đổi.
Bối cảnh
Liên quan đến nhiệm vụ đánh dấu Open Graph cmu41yoku0f87qw0qub13wo6h.
Trong nhiệm vụ đó, một tập lệnh TypeScript trên terminal để kiểm tra đánh dấu HTML đã được viết trước. Nó ghi lại trạng thái ban đầu của trang, sau đó được chuyển cho AI agent cùng với yêu cầu nhiệm vụ, và sau khi thực thi, chính tập lệnh đó đã được dùng để xác nhận kết quả thành công.
Mẫu thực tế:
reproduce → implement → verify
Phương pháp này nên được nâng tầm từ cấp độ dự án cụ thể lên cốt lõi của haih-agent.
Tài liệu tham khảo thực hiện
Ví dụ, hãy xem commit trong HappyBaby:
e664496d8500751a13727b
Cần nghiên cứu chính xác những gì đã được thêm vào xung quanh kịch bản kiểm tra, và đưa phần có thể tổng quát hóa vào cốt lõi của tác nhân.
Yêu cầu
Thêm vào cơ chế cốt lõi khả năng làm việc với kiểm tra kết quả nhiệm vụ có thể thực thi:
- nhiệm vụ có thể chứa hoặc tạo ra tập lệnh/lệnh kiểm tra;
- tác nhân phải coi quá trình kiểm tra này là tiêu chí hoàn thành thực tế;
- trước khi thay đổi, tốt nhất nên có khả năng chạy kiểm tra và ghi lại trạng thái cơ sở/thất bại (baseline/failing state) nếu có thể áp dụng;
- sau khi triển khai, tác nhân phải tự động chạy lại chính bài kiểm tra đó;
- nhiệm vụ không được coi là hoàn thành chỉ dựa trên báo cáo văn bản của tác nhân nếu có sẵn bài kiểm tra thực thi được;
- báo cáo tổng kết cần bao gồm lệnh kiểm tra thực tế và kết quả thực thi của nó;
- khi kiểm tra thất bại, tác nhân phải tiếp tục vòng lặp sửa lỗi chứ không được đẩy việc kiểm tra ban đầu cho con người.
Kịch bản ví dụ
Đối với Open Graph, có lệnh dạng như sau:
npx tsx scripts/check-page-image/index.ts "http://localhost:3000/catalog/product.html"
Trước khi thay đổi:
HTTP: 200
✗ og:title: missing
✗ og:description: missing
✗ og:image: missing
✗ og:url: missing
✗ og:type: missing
RESULT: invalid or incomplete
Sau khi triển khai:
HTTP: 200
✓ og:title: Sân chơi cỡ nhỏ Con tàu
✓ og:description: Kích thước 3.48 x 1.78 x 2.32 m.
✓ og:image: http://localhost:3000/images/resized/middle/images/img.jpg
✓ og:url: http://localhost:3000/catalog/product.html
✓ og:type: product
RESULT: OK
Kết quả mong đợi
Thứ cần thiết không phải là logic đặc thù của Open Graph, mà là một cơ chế cốt lõi mang tính phổ quát cho kịch bản nơi nhiệm vụ có phần kiểm tra kết quả thực thi bằng máy.
Vòng lặp mong muốn của tác nhân:
1. Nhận nhiệm vụ
2. Tìm/tạo bài kiểm tra có thể tái tạo
3. Thực thi nó và hiểu trạng thái ban đầu
4. Triển khai thay đổi
5. Tự động lặp lại việc kiểm tra
6. Khi gặp lỗi, tiếp tục sửa chữa
7. Hoàn thành nhiệm vụ chỉ sau khi kiểm tra thành công hoặc có lý do được ghi nhận rõ ràng tại sao không thể kiểm tra
Tiêu chí hoàn thành
- Cốt lõi có hỗ trợ tổng quát cho việc kiểm tra kết quả nhiệm vụ có thể thực thi.
- Quá trình kiểm tra được chạy tự động bởi tác nhân sau khi triển khai, nếu có sẵn.
- Kiểm tra không thành công không dẫn đến trạng thái
donegiả mạo. - Kết quả kiểm tra được đưa vào báo cáo tổng kết/worklog.
- Giải pháp không gắn liền với dự án HappyBaby cụ thể hay với Open Graph.
- Đã thêm các bài kiểm tra cho kịch bản thành công và thất bại.
- Commit
e664496d8500751a13727bđã được nghiên cứu và sử dụng làm tham chiếu thực tế, nhưng việc triển khai ở cốt lõi vẫn giữ tính phổ quát.