深潮 TechFlow 消息,11 月 23 日,OpenAI 首席科学家 Jakub Pachocki 撰文建议,前沿模型开发者基于困惑度等指标设定共同的 AI 开发上限,在理解和监测 AI 行为的能力达到具体目标前,不应突破该上限。
他提议行业建立模型评估、红队测试和透明度方面的共同标准,并以困惑度作为跨开发者比较预训练进展的参考指标。他同时指出,不同实验室的数据集和训练数据不同,困惑度也无法反映预训练之外的所有能力进展。
Pachocki 预计,随着对数困惑度进入约 0.68 至 0.7 区间,模型可能出现新的变革性能力,但具体能力目前尚不明确。
添加收藏
分享社交媒体





