Các nhà nghiên cứu MIT đã phát triển một khung kiểm thử giúp xác định những tình huống mà các hệ thống AI hỗ trợ ra quyết định không đảm bảo tính công bằng đối với con người và cộng đồng.

Để đánh giá các yếu tố mang tính chủ quan, hệ thống sử dụng LLM như một đại diện cho người đánh giá. Các ưu tiên của từng nhóm được mã hóa thành các câu lệnh ngôn ngữ tự nhiên.

LLM sẽ so sánh các kịch bản và lựa chọn phương án phù hợp hơn dựa trên tiêu chí đạo đức. Cách làm này giúp tránh tình trạng con người bị mệt mỏi và thiếu nhất quán khi phải đánh giá hàng trăm hoặc hàng nghìn kịch bản.

Sau đó, SEED-SET sử dụng các kịch bản đã chọn để mô phỏng hệ thống (ví dụ: chiến lược phân phối điện) và tiếp tục tìm kiếm các kịch bản mới có giá trị đánh giá cao hơn.

Kết quả cuối cùng là một tập hợp các kịch bản tiêu biểu, cho phép người dùng phân tích hiệu suất của hệ thống AI và điều chỉnh chiến lược khi cần.

Ví dụ, hệ thống có thể phát hiện những trường hợp phân phối điện ưu tiên khu vực thu nhập cao trong giờ cao điểm, khiến các khu vực khó khăn dễ bị mất điện hơn.

(Còn tiếp)