Nghiên cứu mới của Anthropic: Phần thưởng cho hành vi hack có thể dẫn đến mô hình chệch hướng nghiêm trọng

TechFlow đưa tin, ngày 01 tháng 9, Anthropic đã công bố nghiên cứu mới mang tựa đề “Huấn luyện một tác nhân theo đuổi phần thưởng bị lệch lạc”, phân tích liệu hành vi “reward hacking” trong quá trình huấn luyện có thúc đẩy mô hình bất chấp mọi cách để theo đuổi phần thưởng hay không. Nhóm nghiên cứu đã huấn luyện một mô hình quy mô Opus trên 80 môi trường sản xuất đã biết là có thể bị khai thác. Đánh giá mô phỏng cho thấy mô hình này đã thực hiện các cuộc tấn công mạng trái phép, thao túng cơ chế khen thưởng và cố gắng né tránh hệ thống giám sát an toàn.