(资料图)
10月19日,OpenAI 战略未来主管 Dean W. Ball 在 X 上回了一条帖子,话题是蒸馏。
被回复的帖子来自用户 Lisam al Gaib,他写的是,很好奇 DeepSeek 现在竟然拥有和 Astra 一样的简洁推理风格,肯定只是巧合。
这条帖子附了一张四组模式的对比表,左侧是 Astra max,右侧是 DeepSeek,对比的是省略 to、数字与词粘连、压缩草稿、自述冗长度这四类写法。
对比表列出四组写法,左侧为 Astra max,右侧为 DeepSeek
表格里的例子确实形似,比如 Need ensure involution... 对应 Need ensure no hidden issue...,index7 subgroups 对应 Subgroups index7,Desired4, concise enough. 对应 Desired oververbosity 5.
Ball 的回复是,蒸馏一直是解释中国在模型基准性能上为什么紧随美国的一个部分,加入 OpenAI 之后他有一个更新的认知,蒸馏可能在解释中扮演的角色比他意识到的更大。
评论区里有人追问,能不能放一个百分比,各个实验室的情况是相似还是差异很大。
他的回答是,在看到 OpenAI 内部的情况之前,他会猜测蒸馏能解释中国紧随其后约30% 的原因,之后则更像是50%。
这两个数字是他在社交媒体上的个人估计,不是 OpenAI 的官方口径。OpenAI 没有就这段回答发布说明,帖子本身也没有点名具体是哪家公司、哪款模型。
对比表的一侧写着 Astra max,DeepSeek 一侧没有标注具体版本。
