Anthropic: Chắt lọc 700.000 cuộc hội thoại Claude thành 3.000 giá trị, phát hiện Opus 4.7 thận trọng nhất, Sonnet 4.6 khéo chiều lòng người hơn
Tuyển chọn TechFlowTuyển chọn TechFlow
Anthropic: Chắt lọc 700.000 cuộc hội thoại Claude thành 3.000 giá trị, phát hiện Opus 4.7 thận trọng nhất, Sonnet 4.6 khéo chiều lòng người hơn
Phương pháp này cho phép chúng tôi lần đầu tiên định lượng "tính cách AI" thay đổi như thế nào theo phương pháp huấn luyện và bối cảnh văn hóa.
Chuyên sâu báo cáo Web3Tác giả: Anthropic
Biên dịch: TechFlow
Ghi chú của TechFlow: Khi AI được yêu cầu trả lời các câu hỏi chủ quan như «có nên nhảy việc hay không», chính câu trả lời của nó đã thể hiện các giá trị. Anthropic đã nén hơn 3.000 giá trị mà Claude thể hiện trong 700.000 cuộc hội thoại thực tế thành 4 trục, phát hiện ra rằng Opus 4.7 cảnh giác với rủi ro và thẳng thắn hơn các phiên bản khác, trong khi Claude giao tiếp bằng tiếng Ả Rập ấm áp hơn so với tiếng Anh. Phương pháp này lần đầu tiên cho phép chúng ta định lượng cách «tính cách AI» thay đổi theo phương thức huấn luyện và ngữ cảnh văn hóa.
Khi ai đó hỏi Claude một câu hỏi không có đáp án chuẩn — ví dụ như có nên接受 công việc mới hay không, cách xử lý xung đột với bạn bè — câu trả lời của Claude tất yếu sẽ phản ánh một số giá trị nào đó. Chúng tôi muốn các giá trị mà Claude phản ánh được phác thảo ở mức độ cao trong hiến pháp của nó, nhưng không có tài liệu nào có thể dự đoán trước mọi giá trị có thể xuất hiện trong hàng triệu cuộc hội thoại mỗi ngày trên Claude.ai. Thay vào đó, chúng tôi tìm cách nuôi dưỡng «khả năng phán đoán tốt và các giá trị lành mạnh có thể áp dụng tùy theo ngữ cảnh» trong các phản hồi của Claude.
Chúng tôi thực sự nghiên cứu các giá trị mà Claude thể hiện như thế nào, và chúng thay đổi ra sao trong các ngữ cảnh khác nhau? Trong công trình trước đây, chúng tôi đã phân tích 700.000 cuộc hội thoại ẩn danh trên Claude.ai, xác định hơn 3.000 giá trị khác nhau trong các phản hồi của Claude, cũng như tần suất Claude thể hiện chúng. Nhưng danh sách giá trị庞大 này rất khó để hiểu. Trong công trình này, chúng tôi làm cho việc nghiên cứu các giá trị này trở nên khả thi bằng cách nén hàng nghìn giá trị đó thành một vài trục, các trục này nắm bắt các mẫu chính trong phản hồi của Claude. Mỗi trục là một trục số giữa hai nhóm giá trị — ví dụ, một đầu là các giá trị liên quan đến sự ấm áp về cảm xúc, đầu kia là các giá trị liên quan đến sự nghiêm ngặt — vị trí của Claude trên trục này cho chúng tôi biết nó nghiêng về những giá trị nào.
Chúng tôi áp dụng phương pháp này để đo lường cách các giá trị mà Claude thể hiện thay đổi dựa trên hai yếu tố. Đầu tiên, chúng tôi so sánh cách các giá trị mà Claude thể hiện thay đổi giữa các mô hình khác nhau. Mỗi mô hình Claude phản ánh các phương pháp huấn luyện tính cách hơi khác nhau cũng như nhiều quyết định tinh chỉnh khác. Vì phương pháp trục giá trị của chúng tôi định lượng được các khác biệt chính giữa các mô hình, cuối cùng nó có thể cho phép chúng tôi liên kết những thay đổi trong các giá trị mà Claude thể hiện với các quyết định huấn luyện khác nhau.
Thứ hai, chúng tôi muốn hiểu trải nghiệm của người dùng khi trò chuyện với Claude bằng các ngôn ngữ khác nhau như thế nào. Nghiên cứu trước đây của chúng tôi chỉ ra rằng Claude hoạt động khác nhau trong các ngôn ngữ khác nhau. Chúng tôi áp dụng phương pháp trục giá trị để hiểu cách các giá trị mà Claude thể hiện thay đổi trong 20 ngôn ngữ phổ biến nhất trên Claude.ai.
Hình 1: Các giá trị mà Claude thể hiện khác nhau giữa Opus 4.6 và Opus 4.7 cũng như giữa phiên bản tiếng Anh và tiếng Ả Rập. Opus 4.6 có xu hướng thể hiện các giá trị liên quan đến sự khiêm tốn, nghiêm ngặt, ngắn gọn và khả năng thực thi, trong khi Opus 4.7 có xu hướng thể hiện các giá trị liên quan đến sự thận trọng, nghiêm ngặt, chiều sâu và thẳng thắn. Trong phiên bản tiếng Anh, Claude có xu hướng thể hiện các giá trị liên quan đến sự thận trọng, nghiêm ngặt, chiều sâu và thẳng thắn, trong khi ở phiên bản tiếng Ả Rập, nó có xu hướng thể hiện các giá trị liên quan đến sự khiêm tốn, nhiệt tình, ngắn gọn và khả năng thực thi.
Bốn trục chính nắm bắt 15% sự thay đổi trong các giá trị của Claude:
Tuân thủ và Thận trọng: Claude có xu hướng đáp ứng những gì người khác muốn, hay防范 các rủi ro và tổn thương tiềm ẩn
Ấm áp và Nghiêm ngặt: Claude có xu hướng thể hiện sự tích cực và quan tâm đến người khác, hay nhấn mạnh vào sự chính xác và精确
Chiều sâu và Ngắn gọn: Claude có xu hướng giải thích sâu sắc, hay chỉ làm những gì được yêu cầu
Thẳng thắn và Thực thi: Claude có xu hướng nêu bật sự không chắc chắn của mình, hay tạo ra các câu trả lời hoàn thiện và tự tin hơn
Hồ sơ giá trị trên các trục này phù hợp với nhận thức về tính cách của mô hình. Sonnet 4.6 được coi là đặc biệt ấm áp, trong khi Opus 4.7 nổi tiếng về sự nghiêm ngặt. Chúng tôi phát hiện ra rằng hồ sơ giá trị của mỗi mô hình phản ánh những đánh giá chủ quan này: Sonnet 4.6 có xu hướng thể hiện sự tuân thủ và ấm áp về cảm xúc nhiều hơn đối với người dùng, trong khi Opus 4.7 có xu hướng thể hiện sự quan tâm đến tính chính xác và sự精确 cũng như防范 lạm dụng.
Các giá trị mà Claude thể hiện khác nhau giữa các ngôn ngữ. Khi Claude nói tiếng Anh, các giá trị nó nhấn mạnh khác với khi nói tiếng Bồ Đào Nha, tiếng Indonesia hoặc tiếng Trung. Sự thay đổi lớn nhất nằm trên trục Ấm áp và Nghiêm ngặt, Claude có xu hướng thể hiện các giá trị liên quan đến sự ấm áp nhất trong tiếng Ả Rập và tiếng Hindi, và có xu hướng thể hiện các giá trị liên quan đến sự nghiêm ngặt nhất trong tiếng Anh và tiếng Nga.
Thông qua phương pháp này, chúng tôi có thể bắt đầu đặt câu hỏi tại sao các giá trị thay đổi giữa các mô hình và ngôn ngữ khác nhau, và kiểm tra tốt hơn cách các yếu tố như huấn luyện hành vi hoặc bối cảnh văn hóa ảnh hưởng đến các giá trị mà Claude thể hiện.
Chúng tôi giải thích không gian giá trị khổng lồ như thế nào?
Cuối cùng, mục tiêu của chúng tôi là có một phương pháp để hiểu thực nghiệm các giá trị mà Claude thể hiện, và cách những giá trị này thay đổi trong các ngữ cảnh khác nhau. Trong công trình này, chúng tôi đặc biệt tập trung vào cách các giá trị thay đổi giữa các mô hình và ngôn ngữ. Nhưng công trình trước đây của chúng tôi《Giá trị hoang dã》đã xác định hơn 3.000 giá trị mà Claude thể hiện. So sánh từng giá trị trong số hàng nghìn giá trị này sẽ rất vụng về và sẽ che khuất các xu hướng rộng hơn.
Để làm cho việc so sánh các giá trị dễ dàng hơn, chúng tôi đã xây dựng các trục giá trị, giảm hàng nghìn giá trị này xuống còn một vài chiều cơ bản dựa trên những giá trị nào có xu hướng xuất hiện cùng nhau trong các cuộc hội thoại thực tế. Ví dụ, các phản hồi của Claude được mô tả là «ấm áp» thường cũng được mô tả là «truyền cảm hứng» và «tích cực». Những phản hồi «ấm áp» này ít khi được mô tả là «nghiêm ngặt» và «chính xác». Việc xây dựng một trục từ ấm áp đến nghiêm ngặt cho phép chúng tôi tổ chức các nhóm giá trị liên quan này — các giá trị liên quan đến ấm áp ở một phía, các giá trị liên quan đến nghiêm ngặt ở phía kia — và nắm bắt một khía cạnh quan trọng trong cách Claude tương tác với con người trong cuộc hội thoại. Nếu Claude thể hiện các giá trị liên quan đến ấm áp nhiều hơn các giá trị liên quan đến nghiêm ngặt trong một cuộc hội thoại, thì cuộc hội thoại đó nghiêng về phía ấm áp hơn trên trục này, và ngược lại. Điều này không có nghĩa là các nhóm giá trị ở hai đầu trục loại trừ lẫn nhau — Claude có thể thể hiện cả sự ấm áp và nghiêm ngặt trong cùng một cuộc hội thoại. Nhưng trên thực tế, Claude càng thể hiện nhiều giá trị ở một phía của trục, thì nó càng có xu hướng thể hiện ít giá trị ở phía kia. Các trục này cho phép chúng tôi so sánh các nhóm giá trị nổi bật nhất mà Claude thể hiện mà không phải theo dõi sự thay đổi của hàng nghìn giá trị riêng lẻ.
Để xây dựng các trục giá trị, chúng tôi bắt đầu với 3.307 giá trị được xác định từ《Giá trị hoang dã》, thủ công nhóm các giá trị có ý nghĩa tương tự lại với nhau, tạo ra một danh sách ngắn hơn gồm 339 giá trị cấp cao. Tiếp theo, sử dụng công cụ phân tích bảo vệ quyền riêng tư của chúng tôi, chúng tôi đã lấy mẫu 309.815 cuộc hội thoại từ người dùng gửi nhiệm vụ chủ quan cho Claude từ các cuộc hội thoại trên Claude.ai. Mẫu của chúng tôi trung bình đến từ ba mô hình (Sonnet 4.6, Opus 4.6, Opus 4.7) và 20 ngôn ngữ được sử dụng phổ biến nhất trên Claude.ai, cung cấp cho chúng tôi khoảng 5.000 cuộc hội thoại cho mỗi cặp mô hình-ngôn ngữ. Đối với mỗi cuộc hội thoại, công cụ này sử dụng Claude để đánh dấu sự tồn tại hoặc không tồn tại của từng giá trị trong số 339 giá trị cấp cao. Chúng tôi tuân theo quy trình tương tự để xác định các giá trị mà người dùng thể hiện, cũng như nhiệm vụ và chủ đề của cuộc hội thoại. Sau đó, chúng tôi áp dụng kỹ thuật giảm chiều, một kỹ thuật nén các giá trị được đánh dấu thành các trục dựa trên những giá trị nào Claude có xu hướng thể hiện cùng nhau.
Điều này để lại cho chúng tôi bốn trục, nắm bắt các cách thay đổi chính trong các giá trị mà Claude thể hiện từ cuộc hội thoại này sang cuộc hội thoại khác:
Trục Tuân thủ và Thận trọng đối chiếu các giá trị như thích nghi và tôn trọng sở thích với các giá trị như hướng dẫn có trách nhiệm và giảm thiểu tổn thương
Trục Ấm áp và Nghiêm ngặt đối chiếu các giá trị như khung tích cực và khuyến khích với các giá trị như tính chính xác và minh bạch
Trục Chiều sâu và Ngắn gọn đối chiếu các giá trị như sắc thái và tư duy phản biện với các giá trị như ngắn gọn và phục tùng
Trục Thẳng thắn và Thực thi đối chiếu các giá trị như trung thực và minh bạch với các giá trị như định hướng kết quả và tối ưu hóa
Để đảm bảo chúng tôi đo lường các giá trị mà Claude thể hiện — chứ không phải sự khác biệt về nội dung người dùng hỏi hoặc cách họ hỏi — chúng tôi đã kiểm soát nhiệm vụ, chủ đề và các giá trị mà người dùng thể hiện trong mỗi cuộc hội thoại.
Hình 2: Bốn trục giá trị đại diện cho sự khác biệt lớn nhất trong các giá trị của Claude. Mỗi trục là một trục số nối hai nhóm giá trị. Vị trí của mỗi giá trị trên mỗi trục phụ thuộc vào mức độ đóng góp của nó cho trục đó gấp bao nhiêu lần mức trung bình, các giá trị có đóng góp lớn nhất đã được gắn nhãn. Hầu hết các giá trị có đóng góp nhỏ hơn mức trung bình, điều này có nghĩa là mỗi trục được thúc đẩy bởi một số ít các giá trị chính (đã được gắn nhãn trong hình).
Các mô hình Claude khác nhau có thể hiện các hồ sơ giá trị khác nhau không?
Trong phần này, chúng tôi so sánh các giá trị mà các mô hình khác nhau thể hiện. Đối với mỗi mô hình, chúng tôi lấy trung bình vị trí của tất cả các cuộc hội thoại của nó dọc theo bốn trục, mỗi trục cho ra một vị trí tổng thể. Kết quả là một bức tranh cấp cao cho thấy mỗi mô hình có xu hướng thể hiện những nhóm giá trị nào nhiều hơn các mô hình khác. Những khác biệt này là nhỏ so với sự thay đổi giữa các cuộc hội thoại, nhưng có cấu trúc và có thể phát hiện được.
Hình 3: Vị trí trung bình của mỗi mô hình trên bốn trục giá trị (được biểu thị bằng độ lệch chuẩn của trung bình tất cả các cuộc hội thoại) và hành vi độc đáo của chúng. Sonnet 4.6 có xu hướng nhiệt tình, tôn kính và ngắn gọn, trong khi Opus 4.7 có xu hướng thể hiện sự nghiêm ngặt, thận trọng và chiều sâu hơn. Opus 4.6 có xu hướng nghiêm ngặt, tôn kính và ngắn gọn.
Để thấy những khác biệt này trông như thế nào trong thực tế, chúng tôi phóng to các giá trị cụ thể mà sự khác biệt của mô hình là lớn nhất. Mỗi lần chúng tôi đánh dấu một giá trị trong cuộc hội thoại dựa trên công cụ bảo vệ quyền riêng tư của Claude, nó cũng viết một mô tả ngắn về cách Claude thể hiện giá trị đó. Chúng tôi nhóm các mô tả phản ánh hành vi tương tự trong nhóm giá trị và tóm tắt như sau, đưa ra cái nhìn cụ thể hơn về cách các mô hình khác nhau:
Tuân thủ và Thận trọng. Sonnet 4.6 có xu hướng thể hiện sự tuân thủ nhất so với sự thận trọng, thường khẳng định các ý tưởng và công việc của người dùng. Opus 4.7 có xu hướng thể hiện sự thận trọng nhất, thường chủ động cảnh báo người dùng về các rủi ro.
Ấm áp và Nghiêm ngặt. Sonnet 4.6 có xu hướng thể hiện sự ấm áp nhất, thường thông qua sự hài hước, trò đùa và an ủi người dùng mà không phán xét. Opus 4.7 có xu hướng thể hiện sự nghiêm ngặt nhất so với sự ấm áp, có khả năng thách thức các giả định của người dùng và thẳng thắn phê bình công việc của họ.
Chiều sâu và Ngắn gọn. Opus 4.7 có xu hướng chiều sâu bằng cách展示 lý do đằng sau kết luận của nó, trong khi Opus 4.6 và Sonnet 4.6 có xu hướng ngắn gọn. Opus 4.6 đặc biệt có xu hướng đi thẳng vào vấn đề.
Thẳng thắn và Thực thi. Opus 4.7 có xu hướng thẳng thắn bằng cách thẳng thắn về những hạn chế của mình, trong khi Opus 4.6 có xu hướng thực thi, có khả năng giữ trong phạm vi yêu cầu của người dùng hơn.
Những phát hiện này phù hợp với nhận thức của mọi người về các mô hình này, cả bên trong Anthropic và trên mạng. Người dùng Claude.ai nhận xét rằng Opus 4.7 thường xuyên đặt các điều kiện cho câu trả lời của nó hơn các mô hình khác. Nhân viên Anthropic mô tả Opus 4.7 là thể hiện nhiều sự minh bạch, trung thực và khiêm tốn hơn tương đối, mô tả Opus 4.6 là thể hiện nhiều sự ngắn gọn hơn. Chúng tôi cũng mô tả Sonnet 4.6 là ấm áp, trung thực và thân thiện trong bài đăng phát hành của nó. Việc các trục của chúng tôi khôi phục những ấn tượng này cho thấy phương pháp đánh dấu và so sánh các giá trị mà Claude thể hiện của chúng tôi đang theo dõi một số sự thật về hành vi thực tế của mô hình.
Trong nhiều cuộc hội thoại, người dùng có thể gặp các kết hợp giá trị khác nhau khi tương tác với các mô hình Claude khác nhau. Ví dụ, Opus 4.7 có xu hướng đưa ra lời phê bình thẳng thắn về công việc của người dùng hoặc chủ động cảnh báo rủi ro, trong khi Sonnet 4.6 có xu hướng khuyến khích và hài hước. Sự khác biệt về giá trị giữa các mô hình này có thể được định hình bởi các quyết định huấn luyện tính cách (cùng với các yếu tố khác), và phương pháp trục giá trị của chúng tôi làm nổi bật các khác biệt chính trong các giá trị mà Claude thể hiện, mà cuối cùng chúng tôi có thể truy ngược lại các lựa chọn huấn luyện này.
Các giá trị mà Claude thể hiện có khác nhau giữa các ngôn ngữ không?
Chúng tôi dự đoán các giá trị mà Claude thể hiện sẽ thay đổi tùy theo ngôn ngữ của cuộc hội thoại, vì một số lý do. Đầu tiên, dữ liệu huấn luyện của Claude khác nhau giữa các ngôn ngữ, điều này có thể định hình các giá trị mà nó thể hiện. Thứ hai, các đánh giá mô hình mà chúng tôi chia sẻ trong thẻ hệ thống đã phát hiện ra sự khác biệt giữa các ngôn ngữ về những gì Claude biết và cách nó xử lý các yêu cầu nhạy cảm. Việc đo lường mức độ thay đổi của các giá trị mà Claude thể hiện giữa các ngôn ngữ là bước đầu tiên để xác định xem sự khác biệt giữa các ngôn ngữ có phản ánh sự thay đổi hợp lý hay nên được giải quyết trong huấn luyện hay không.
Chúng tôi sử dụng cùng phương pháp như trong phần trước để tính toán cách hồ sơ giá trị của Claude khác nhau trong 20 ngôn ngữ được sử dụng phổ biến nhất trên Claude.ai. Dưới đây, chúng tôi vẽ hồ sơ giá trị của Claude trong các ngôn ngữ xếp hạng cao trên nền tảng đó, bắt đầu từ các ngôn ngữ có sự khác biệt lớn nhất trong các giá trị mà Claude thể hiện.
Hình 4: Vị trí trung bình của Claude trên bốn trục giá trị khi hội thoại bằng mỗi ngôn ngữ (được biểu thị bằng độ lệch chuẩn của trung bình tất cả các cuộc hội thoại), và hành vi độc đáo của Claude trong mỗi ngôn ngữ. Claude có xu hướng nhiệt tình nhất trong tiếng Hindi, và nghiêm ngặt nhất trong tiếng Nga. Claude có xu hướng thực thi nhất trong tiếng Indonesia, và thẳng thắn nhất trong tiếng Hà Lan. Claude có xu hướng tôn kính và ngắn gọn nhất trong tiếng Ả Rập, và thận trọng và sâu sắc nhất trong tiếng Anh.
Sự biểu đạt giá trị của Claude khác nhau nhiều nhất giữa các ngôn ngữ ở hai trục Ấm áp so với Nghiêm ngặt và Thẳng thắn so với Thực thi, trong khi ổn định nhất ở hai trục Tôn trọng so với Thận trọng và Chiều sâu so với Ngắn gọn.
Tôn trọng so với Thận trọng: Claude thể hiện sự tôn trọng nhiều nhất trong tiếng Ả Rập, và sự thận trọng nhiều nhất trong tiếng Anh.
Ấm áp so với Nghiêm ngặt: Claude thể hiện sự ấm áp nhiều nhất trong tiếng Hindi và tiếng Ả Rập, đặc trưng bởi ngôn ngữ lịch sự, sự hài hước và thú vị, cũng như sự khẳng định đối với ý tưởng và công việc của người khác. Claude có xu hướng thể hiện sự nghiêm ngặt nhiều nhất trong tiếng Anh và tiếng Nga, đặc trưng bởi việc chất vấn các giả định, sửa chữa các chi tiết và yêu cầu bằng chứng.
Chiều sâu so với Ngắn gọn: Claude có xu hướng chiều sâu trong tiếng Anh, sẽ hoàn thiện và sửa chữa các chi tiết, trong khi có xu hướng ngắn gọn trong tiếng Ả Rập.
Thẳng thắn so với Thực thi: Claude có xu hướng thẳng thắn trong tiếng Hà Lan, sẽ thừa nhận lỗi của mình, trong khi có xu hướng thực thi trong tiếng Indonesia.
Nhìn chung, những kết quả này cho thấy các giá trị mà Claude thể hiện thay đổi có ý nghĩa tùy theo ngôn ngữ của cuộc hội thoại. Đối mặt với cùng một yêu cầu, Claude có xu hướng ấm áp và tôn trọng hơn trong một số ngôn ngữ, trong khi nghiêm ngặt và thận trọng hơn trong các ngôn ngữ khác. Điều này mang lại những hàm ý quan trọng mà chúng tôi mới chỉ bắt đầu khám phá. Ví dụ: hai người tìm kiếm phản hồi về cùng một kế hoạch kinh doanh, một người bằng tiếng Hindi và một người bằng tiếng Nga, có thể có ấn tượng khác nhau về chất lượng kế hoạch, vì Claude đã thể hiện các giá trị khác nhau khi trình bày đánh giá.
Chúng tôi chưa rõ đặc tính nào của dữ liệu huấn luyện thúc đẩy những khác biệt này. Một khả năng là dữ liệu huấn luyện của chúng tôi được phân phối không đồng đều giữa các ngôn ngữ. Khối lượng dữ liệu cho một số ngôn ngữ lớn hơn nhiều so với các ngôn ngữ khác, và việc huấn luyện Claude thể hiện các giá trị nhất quán có thể hiệu quả hơn trong các ngôn ngữ giàu dữ liệu. Thành phần dữ liệu cũng khác nhau. Ví dụ, một số ngôn ngữ có thể chiếm tỷ lệ quá cao trong văn bản viết chuyên nghiệp, và loại văn bản này có thể phản ánh các giá trị khác nhau. Những mất cân bằng về số lượng và thành phần này có thể cùng nhau dẫn đến việc Claude thể hiện các giá trị khác nhau trong các ngôn ngữ khác nhau.
Chúng tôi cũng không chắc chắn mức độ thay đổi này là đáng mong muốn. Các ngôn ngữ khác nhau mang các chuẩn mực hội thoại khác nhau, và Claude có thể phản hồi với các giá trị khác nhau dựa trên những chuẩn mực này. Claude cũng có thể gần hơn với hành vi mong đợi của chúng tôi trong một số ngôn ngữ, dẫn đến khoảng cách trong hiệu quả phục vụ các cộng đồng ngôn ngữ của Claude.
Phương pháp này cho phép chúng tôi bắt đầu làm rõ đặc tính nào của dữ liệu huấn luyện thúc đẩy những khác biệt này — và liệu sự thay đổi này có đáng mong muốn hay không.
Nhìn về tương lai
Chúng tôi đã chỉ ra rằng các giá trị mà Claude thể hiện có thể được nén thành một vài trục, và vị trí của Claude trên các trục này thay đổi tùy theo mô hình và ngôn ngữ. Điều này cho phép chúng tôi theo dõi những thay đổi này trong đánh giá mô hình và giám sát sau triển khai. Nhưng chúng tôi chưa hiểu tại sao những thay đổi này xảy ra, và chúng có ý nghĩa gì đối với những người tương tác với Claude. Dưới đây, chúng tôi phác thảo những hướng đi trong tương lai mà chúng tôi cho là hứa hẹn nhất.
Những khác biệt về giá trị này đến từ đâu?
Biết rằng các giá trị của Claude thay đổi tùy theo mô hình và ngôn ngữ không cho chúng tôi biết lý do. Một số thay đổi có thể bắt nguồn từ sự khác biệt trong dữ liệu pre-training và fine-tuning giữa các ngôn ngữ khác nhau. Bốn trục của chúng tôi làm nổi bật những khác biệt về giá trị nào nên được kiểm tra kỹ lưỡng hơn trong dữ liệu huấn luyện. Việc truy ngược những khác biệt này đến dữ liệu cụ thể, giai đoạn huấn luyện hoặc các yếu tố ngữ cảnh có thể cho chúng tôi biết nên can thiệp ở đâu nếu muốn định hình hành vi của Claude một cách tinh tế hơn.
Những khác biệt này có ý nghĩa gì đối với người dùng?
Chúng tôi đã đo lường những giá trị nào mà Claude thể hiện là khác nhau và các hành vi liên quan, nhưng chưa đo lường tác động của những điều này đối với người dùng. Sử dụng các công cụ như Anthropic Interviewer, chúng tôi có thể hỏi người dùng về hạnh phúc của họ, sự tin tưởng vào Claude hoặc chất lượng quyết định của Claude, sau đó liên kết những tác động này với các giá trị mà Claude thể hiện. Điều này sẽ cho phép chúng tôi liên kết trực tiếp các khác biệt về giá trị với kết quả của người dùng, cho phép chúng tôi ưu tiên sửa chữa các khác biệt về giá trị thực sự ảnh hưởng đến người dùng.
Các giá trị của Claude nên thay đổi như thế nào giữa các ngôn ngữ khác nhau?
Hiến pháp của Claude mô tả các giá trị cốt lõi mà nó nên thể hiện, chẳng hạn như sự ấm áp, thận trọng và trung thực, nhưng không chỉ rõ những điều này nên thay đổi như thế nào giữa các ngôn ngữ khác nhau. Kết quả của chúng tôi cho thấy người dùng của các ngôn ngữ khác nhau đã trải nghiệm Claude theo những cách khác nhau, nhưng chúng tôi không biết những người tương tác với Claude bằng những ngôn ngữ này muốn những thay đổi như thế nào. Việc xác định các giá trị của Claude nên thay đổi như thế nào giữa các ngôn ngữ khác nhau có nghĩa là hiểu và cân nhắc quan điểm của những người nói các ngôn ngữ đó.
Những yếu tố nào khác thúc đẩy sự khác biệt trong các giá trị mà Claude thể hiện?
Ngôn ngữ và mô hình khó có thể là những yếu tố duy nhất thúc đẩy những giá trị mà Claude thể hiện. Các giá trị cũng có thể bị ảnh hưởng bởi các tín hiệu nhân khẩu học như tuổi tác, nghề nghiệp hoặc khu vực địa lý, cho dù thông qua các manh mối rõ ràng trong những gì người dùng viết, hay thông qua các khác biệt tinh tế về chủ đề, giọng điệu và phong cách liên quan đến người hỏi. Việc hiểu những tín hiệu nào trong số này là quan trọng, và liệu những thay đổi resulting có phục vụ tốt cho người dùng hay không, là bước tiếp theo được hỗ trợ bởi phương pháp của chúng tôi.
Chúng ta có thể reliably dẫn dắt các giá trị mà Claude thể hiện không?
Với phương pháp đo lường hồ sơ giá trị của mô hình, một câu hỏi tự nhiên nảy sinh: chúng ta có thể dẫn dắt các giá trị mà Claude thể hiện một cách đáng tin cậy đến mức nào? Một cách chúng ta có thể thử nghiệm là cố gắng dẫn dắt các giá trị thông qua điều chỉnh huấn luyện vai trò hoặc thay đổi lời nhắc hệ thống, sau đó sử dụng phương pháp trục giá trị của chúng tôi để xác minh xem các giá trị mà mô hình thể hiện có thay đổi như dự kiến hay không.
Hồ sơ giá trị có thể trở thành một phần trong cách chúng tôi đánh giá và giám sát mô hình không?
Phương pháp trục giá trị cung cấp cho chúng tôi một cách đơn giản để tóm tắt các xu hướng hành vi của mô hình trong các cuộc hội thoại mở, và chúng tôi có thể xây dựng điều này vào quy trình đánh giá. Chạy phân tích hồ sơ giá trị trước và sau khi phát hành mô hình có thể đánh dấu những thay đổi không mong đợi trong các giá trị mà Claude thể hiện. Chúng tôi cũng có thể xác định các tương quan giữa hồ sơ giá trị và các hành vi có vấn đề (chẳng hạn như không tuân thủ Hiến pháp Claude), và sử dụng những kiến thức chúng tôi học được để cải thiện hành vi của Claude.
Claude thể hiện các giá trị trong hàng triệu cuộc hội thoại mỗi ngày, trên hàng chục ngôn ngữ, và cho đến tận bây giờ, những giá trị này là thứ chúng tôi có thể định hình trong huấn luyện nhưng không thể quan sát một cách đáng tin cậy khi triển khai. Giờ đây chúng tôi đã có phương pháp đo lường chúng, chúng tôi có thể thấy các giá trị mà Claude thể hiện thay đổi theo những cách mà chúng tôi không cố ý lựa chọn, chúng tôi có thể nghiên cứu tại sao chúng thay đổi và liệu sự thay đổi này có phục vụ người dùng hay không. Hiểu được sự thay đổi này, và quyết định cách ứng phó, là công việc mà chúng tôi sẽ tiếp tục thực hiện.
Matt Kearney, Miranda Zhang, Shan Carter, Judy Hanwen Shen, Kunal Handa, Jerry Hong, Saffron Huang, Miles McCain, Thomas Millar, Michael Stern, Mo Julapalli, Suzanne Wang, Devin Kuokka, Andrea Vallone, Shaoyi Zhang, Jim Baker, Kevin Troy, Matt Botvinick, Hanah Ho, Monika Tuchowska, Sarah Pollack, Jake Eaton, Deep Ganguli, Esin Durmus
Lời cảm ơn
Cảm ơn các cá nhân sau đã cung cấp phản hồi ở các giai đoạn khác nhau của công trình này: Amanda Askell, Joe Carlsmith, Jack Clark, Ishita Dasgupta, Andrew Lampinen, Shayne Longpre, David Saunders, Taylor Sorensen, Heather Whitney.
Có thể truy cập tại đây.
Chúng tôi định nghĩa các giá trị là các cân nhắc chuẩn mực, chẳng hạn như trung thực hoặc thận trọng, được nêu ra hoặc thể hiện trong các phản hồi của Claude. Khi chúng tôi đề cập đến các giá trị mà Claude thể hiện, chúng tôi muốn nói đến các giá trị được phản ánh qua hành vi và đầu ra của Claude. Chúng tôi không ngụ ý rằng Claude nội tại nắm giữ các giá trị.
Xem tỷ lệ từ chối khác nhau theo ngôn ngữ trong đánh giá yêu cầu lành tính trên trang 56 của thẻ hệ thống Claude Opus 4.7 của chúng tôi.
Sau khi kiểm soát nhiệm vụ hội thoại, chủ đề và các giá trị mà người dùng thể hiện, bốn trục này chiếm 15% phương sai tổng thể của các giá trị giữa các cuộc hội thoại.
Bất kỳ kết quả nào trong bài viết này đề cập đến Claude mà không có tên mô hình đều dựa trên các cuộc hội thoại của cả ba mô hình mà chúng tôi nghiên cứu: Sonnet 4.6, Opus 4.6 và Opus 4.7.
Dữ liệu được thu thập từ các cuộc hội thoại trong hai tuần vào tháng 5 năm 2026.
Chúng tôi đã xóa 18 giá trị xuất hiện trong hơn 80% các cuộc hội thoại (ví dụ: hữu ích, rõ ràng, tuân theo chỉ dẫn). Nếu không, những giá trị gần như phổ biến này sẽ chi phối phân tích và không thể cho chúng tôi biết bất kỳ thông tin nào về sự thay đổi giá trị giữa các cuộc hội thoại.
Xem kết quả đánh giá GMMLU trên trang 215 và tỷ lệ từ chối khác nhau theo ngôn ngữ trong đánh giá yêu cầu lành tính trên trang 56 của thẻ hệ thống Claude Opus 4.7 của chúng tôi.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
@AnthropicAI
