2026-10-06
GPT-6还没玩明白,OpenAI高管:八九成研究已押向GPT-7、GPT-8!
新智元报道 GPT-6还没玩明白,GPT-7就已经在路上了? 近日,OpenAI应用研究负责人Boris Power透露,OpenAI已把目光投向下一代模型: 公司大约80%到90%的研究,已经聚焦GPT-7、GPT-8,以及更新代际的模型。 但眼前的GPT-6,OpenAI仍然没少下功夫。 就在本月,OpenAI先推出主打能力上限的GPT-6 Astra,又在9月22日推出更快、更实惠的Sol和Luna。 这边已经将绝大部分研究精力投向GPT-7、GPT-8等下一代模型,那边还在不断给GPT-6家族添油,这就引出了两个问题: 既然OpenAI把研究重心押在下一代,为什么还要不断优化现有模型? 既然要把大模型越练越强,为什么同时还要做更小、更便宜的版本? 优化现有模型 为何被称为「极度短视」? 用Power的话说,部分针对现有模型的优化投入,在OpenAI内部甚至被视为「极度短视」。 这些工作能帮助团队今天更快迭代、更快学习,但长期的押注,仍然放在下一代模型上。 这就要分清两件事:今天值得做的优化,它的适用期是多久? 比如,模型现在调用工具容易报错,团队就收集数据、调整训练,把这个窟窿补上。 每修好一个问题,产品就更好用一点,团队也多积累一份经验——这在Power看来是必要的,但他也提醒,里面有一个坑: 当下一代模型一来,今天费劲补的短板,可能就不再是问题了。 新一代模型会让许多事情变得更容易。因此,团队也得重新判断:接下来,哪些问题最值得花精力解决? 也就是说,模型进化得越快,有些方案的价值就越需要重新掂量。 但明天可能过时,不代表今天不值得做。用户现在就要用产品,眼前的短板,该补还得补。 OpenAI在Astra的官方介绍里也提到,团队仍在针对实际工作训练模型,并改进Codex,让AI干活更快、更顺畅。 对普通用户来说,这也意味着今天为了让AI干活,你得反复改提示词、拆步骤、盯过程,但这些麻烦未必会一直存在。 模型升级了,旧的问题可能迎刃而解,新的用法也需要重新摸索。 真等GPT-7、GPT-8下一代模型来了,我们不妨再去试试:过去得手把手让前代模型们干的活儿,现在能不能只交代目标,它就能自己往前干? 先做强大模型 再蒸馏出小模型 既然要把大模型做得更强,为什么还要费力做小模型? 在Power的逻辑里,这两件事恰好连在一起。 先练出一个能力很强的通用模型,再让它当老师,教会更小、更专的模型。 他以Astra和Luna为例,勾画出了这条「先做强、再蒸馏」的路线。 这也能解释OpenAI为什么会将八九成的研究押向GPT-7、GPT-8等未来更强的模型。 它们既能自己下场解难题,也能成为下一批小模型的老师,让部分能力进入更便宜的产品。 从技术上说,一种常见的模型蒸馏方法是:先让强模型生成示范,筛选出高质量输出,再用这些数据训练更轻量的小模型。 而这套方法,OpenAI自己已经驾轻就熟。 2025年3月,OpenAI发布新一代音频模型时,就明确披露: 团队通过蒸馏,把自家大型音频模型的知识传递给更小、更高效的模型,并用模拟真实对话的数据,改善小模型的对话质量和响应表现。 官方还给过一个更直观的教学示例:让GPT-4o当老师,训练GPT-4o mini根据葡萄酒信息判断葡萄品种。 在该示例的300条验证数据上,GPT-4o mini的准确率从64.67%提高到79.33%,接近GPT-4o的79.67%。 葡萄品种判断任务中,GPT-4o mini蒸馏后准确率升至79.33%。 这是特定任务上的结果,并不意味着小模型全面追平了大模型。 不过,学生本来也不必学会老师的全部本事: 只要在特定任务上达到需要的水平,又把成本降下来,这笔账就可能划算。 回到GPT-6家族,类似的能力迁移与成本分工仍在继续。 9月22日,OpenAI推出GPT-6 Sol和Luna,强调更快、更实惠。 官方称,它们采用与Astra相似的方法训练,把相关能力进步带向成本更低的模型。 虽然具体训练配方并未完整公开,也不能直接把Luna说成一个「缩小版Astra」,但方向已经很清楚: 大模型抬高能力上限,小模型降低使用门槛。 对普通用户来说,这意味着哪怕你日常选的是便宜模型,也可能间接受益于更强大模型的研究成果。 大模型和小模型 怎么分工才划算? 不是所有任务,都必须用最顶级的模型。 一份工作里,有些环节需要深度判断,有些只是把已经明确的要求执行到位。让大小模型各接一部分活,才有机会把钱花在刀刃上。 来看一个准备项目汇报的例子。 几份材料说法不一,数据口径互相打架,核心结论也没想清楚。 这时,可以先让更强的模型梳理逻辑、找出矛盾,指出还缺哪些证据,再搭起报告框架。 等关键事实核实了、方向确定了,后面的工作就可以尝试交给小模型。 遇到材料无法解释的新问题,或者需要重新