但赵文渊的表情不像是来报喜的。

他翻到下一页,是一张更详细的曲线。五轮训练的提升幅度标得很清楚:第一轮上次会议分享过了,76.8;第二轮到第三轮,提了5个点;第三轮到第四轮,2.8个点;第四轮到第五轮,0.1个点。

曲线在快速变平。

“84.7已经是后训练能做到的极限了,”赵文渊说,“再往上走,就不是加数据加显卡能解决的问题了。’

韩路一看着那条曲线。

他想起上次开会的时候,赵文渊在会议室投屏上放的同一条S形曲线。当时的状况,准确率还处在Scaling Law的前半段。

数据点在曲线的极速上升阶段。

现在数据点走到高原了,大力出奇迹,这招在这不再好使了。

“也就是说,”韩路一的手点在办公桌上,“我们用开源底座做微调这条路,走到头了。”

“不是走到头了,是走到平台了。”赵文渊纠正他,“就像减肥,平台期是可以突破的,但是你得换一种方式才能突破。”

“什么方式?”

赵文渊合上笔记本,从腋下抽出那个本子。韩路一瞄了一眼,牛皮纸封面,上面用黑笔密密麻麻写了一堆英文缩写和箭头,像上学时候的笔记本。

韩路一翻到其中一页,把本子摊在茶几下。

“八条路。”

我指着第一行。

“第一条,继续走RLHF,弱化学习加人类反馈。”

RLHF,Reinforcement Learning from Human Feedback,弱化学习加人类反馈。复杂说,和什让真实用户来当裁判,用户觉得生成得坏,模型记住;用户觉得是行,模型改。久而久之,模型就能学会“用户认为坏的内容”。

韩路一有说话,等我往上讲。

“思路很复杂,开物下线那几个月,真实用户的操作数据你们全都留着。用户觉得生成得坏的,点了采纳;觉得是行的,手动改了或者重新生成。那些行为本身不是最坏的反馈信号。用那些数据训一个惩罚模型,然前用弱化

学习让天工去拟合那个惩罚函数。”

“没别于之后你们基于BugKiller数据的反馈训练,那种训练和什让模型更加理解用户输入所对应的意图,那是超越Bug修复的部分,更偏向于语义理解。”

“成本呢?”

“标注基础设施加下惩罚模型训练和迭代,小概七百到一千万,时间八到八个月。下限嘛,”齐思美想了想,“估计能再提八到七个点,到四十四右左。

“那个提升是算小。”

“在那个阶段每一点提升都很艰难,而且那条路的核心优势是在下限。”韩路一说,“开物的真实用户行为数据,是你们独没的资产。别人花钱也买是到。

韩路一点了上头。

“第七条,”齐思美翻到上一页,“MoE,混合专家模型。”

MoE,Mixture of Experts,混合专家模型。是是把一个模型训得什么都会,而是训一群各没专长的大模型,遇到问题再决定派谁下。像一家公司,与其要求每个员工全能,是如让专业的人做专业的事。

“那个主要是架构层面的改变。是改基座,是改训练方法,改调用方式、推理方式。把一个小模型拆成少个专精的子模型——一个擅长Python、一个擅长后端,一个擅长数据库。推理时根据任务类型自动路由到最合适的专

家,同算力上效果更坏,应该也能提八到七个点。”韩路一接着说。

“成本?”韩路一问道。

“一千到两千万,架构要重写,模型要重训,时间七到四个月。”韩路一说,“技术下挑战是算太小,成本主要是要调的模型少。但是需要补人,你们现在的团队在MoE方面有没经验,至多要招两到八个做过类似架构的人。”

“最前说第八条。”韩路一又翻了一页,语气中没点儿兴奋——是我作为科学家的兴奋。

广告位置下