Agent Skill Evals là gì – Kiểm thử tự động cho skill AI

Mục lục bài viết

Agent Skill Evals là gì?

Khi bạn viết một SKILL.md và deploy cho AI Agent, làm sao biết nó hoạt động đúng? Bạn có thể tin tưởng – hoặc bạn có thể test. Agent Skill Evals là hệ thống kiểm thử tự động cho AI skill, đảm bảo skill hoạt động đúng và đạt chất lượng trước khi được dùng thực tế.

Trong kiến trúc AI Agent Skill, Evals là cầu nối giữa việc xây skill và tin tưởng skill. Không có Evals, bạn đang deploy và hy vọng. Có Evals, bạn deploy và biết chắc.

4 thành phần của Agent Skill Evals

1. Automated Evals – Kiểm thử tự động

Tập hợp test case chạy tự động mỗi khi skill cập nhật. Mỗi test gồm: Input (tình huống thực tế), Expected Output (kết quả mong đợi), Scoring Criteria. Ví dụ skill onboarding: Input ‘Khách hàng nhắn muốn gặp tuần này’ – Expected: draft email, không tự gửi, báo cáo chủ. Nếu AI tự gửi – fail. Nếu không draft – fail. Chỉ pass khi đúng flow.

2. Benchmark Mode – Đo hiệu suất chuẩn

Chạy skill trên bộ dữ liệu chuẩn để đo performance: tốc độ, accuracy, consistency qua nhiều lần. Khi update skill, benchmark mode cho biết version mới tốt hơn hay kém hơn version cũ – tránh regression vô tình.

3. Multi-Agent Parallel Testing – Kiểm thử song song

Chạy cùng skill trên nhiều AI Agent instance độc lập với cùng input. Mục tiêu: phát hiện non-deterministic behavior – skill cho kết quả khác nhau dù input giống nhau. Skill tốt phải consistent dù chạy lần 1 hay lần 100, dù agent nào thực thi.

4. A/B Testing – So sánh phiên bản

Triển khai hai version skill song song trên traffic thực tế: Version A (hiện tại) và Version B (phiên bản mới). Đo kết quả thực. Chỉ khi Version B chứng minh tốt hơn qua evidence mới được promote – đây là nguyên tắc evidence-gated update trong Skill Lifecycle Governance.

Tại sao chuyên gia tư vấn cần Evals?

Không có Evals, bạn sẽ phát hiện lỗi khi AI đã gửi email sai cho khách hàng, đã tạo báo cáo thiếu thông tin, hoặc đã thực thi quy trình sai bước. Với Evals, bạn phát hiện lỗi trong môi trường test trước khi deploy – an toàn hơn nhiều.

Trong tư vấn, sai lầm có giá: mất tin tưởng của khách hàng, làm lại công việc, hoặc mất hợp đồng. Evals là bảo hiểm cho hệ thống AI của bạn.

Xây Evals như thế nào?

Bước 1: Xác định 3-5 tình huống quan trọng nhất mà skill phải xử lý đúng. Bước 2: Với mỗi tình huống, viết expected output rõ ràng (không phải chức năng – mà hành vi cụ thể: ‘dừng trước khi gửi’, ‘báo cáo’, ‘không tự quyết định’). Bước 3: Chạy eval mỗi lần cập nhật skill – như unit test trong lập trình.

Evals kết hợp với Contractual Skills tạo ra vòng đời skill an toàn: contract xác định skill nên làm gì, eval kiểm tra nó thực sự làm đúng vậy. Bước tiếp theo: tìm hiểu AI Skill Governance để quản trị toàn bộ vòng đời skill từ ownership đến retirement.

Xem thêm: AI Agent Skill là gì – Kiến trúc 3 lớp SKILL.md