Theo tin từ TechFlow, ngày 23 tháng 11, nhà khoa học cấp cao của OpenAI Jakub Pachocki đã đăng tải bài viết đề xuất các nhà phát triển mô hình tiên tiến thiết lập mức giới hạn phát triển AI chung dựa trên các chỉ số như perplexity, đồng thời nhấn mạnh không nên vượt quá giới hạn này cho đến khi khả năng thấu hiểu và giám sát hành vi AI đạt được các mục tiêu cụ thể.
Ông đề xuất ngành thiết lập các tiêu chuẩn chung về đánh giá mô hình, kiểm thử đội đỏ và minh bạch, đồng thời lấy perplexity làm chỉ số tham chiếu để so sánh tiến trình tiền huấn luyện giữa các nhà phát triển. Ông cũng chỉ ra rằng bộ dữ liệu và dữ liệu huấn luyện tại các phòng thí nghiệm khác nhau là không giống nhau, do đó perplexity không thể phản ánh toàn bộ tiến bộ về năng lực nằm ngoài phạm vi tiền huấn luyện.
Pachocki dự báo rằng khi giá trị log perplexity rơi vào khoảng từ 0.68 đến 0.7, mô hình có thể xuất hiện những năng lực mới mang tính cách mạng, mặc dù bản chất cụ thể của chúng hiện nay vẫn chưa rõ ràng.





