赵文渊早早就在等着了。

韩路一推开办公室门的时候,赵文渊已经坐在沙发上了,面前茶几上摆着两杯瑞幸的生椰拿铁。

不愧是你,生椰拿铁的代言人。

“贺总那边怎么”赵文渊开口问道。

韩路一没回答,他把背包放下,掏出笔记本电脑,翻开屏幕,往赵文渊面前一转。

这是他回来的车上手动标注的数据。

“先看个东西。”

赵文渊看了韩路一一眼。

这人一脸兴奋是怎么回事。

屏幕上是一个表格软件,四列。数据来源是开物后台导出的脱敏用户记录,前三列赵文渊一眼就认出来了:用户输入、AI生成结果、用户实际行为。这些字段开物的数据中台本身就在记录。

第四列是新加的。

列名:真实意图。

赵文渊的目光停在了第一行。

用户输入:帮我做一个客户管理系统。

AI生成结果:标准CRUD客户管理页面,列表、新增、编辑、删除,四个功能模块齐全。

用户实际行为:删掉了增删改功能,只保留备注字段。随后手动将备注栏扩展为一个带时间线的客户跟进记录页面,前后修改了三次,重新生成两次。

标准标注应该怎么写?赵文渊问自己。

“需求理解偏差,用户对生成结果不满意,部分采纳。”如果是他会这么写。

第四列写的是:用户是销售岗,公司已有CRM系统但备注栏过于简陋,她需要的不是一套客户管理系统,是一个补充现有CRM的客户跟进日志工具。

这么详细?赵文渊的手指在触控板上滑了一下,往下翻。

第二条。

用户输入:做一个排班表。

AI生成:标准排班日历,拖拽功能加班次模板。

用户实际行为:删掉整个排班UI,只保留数据导出功能,手动添加法定节假日高亮和加班时长自动累计,修改五次。

第四列:用户是HR,正在做年终结算。她要的不是排班工具,是加班费合规计算器,需要用实际出勤数据交叉法定假日定义来计算加班倍率。

赵文渊停了一下。

他重新看了看第三列,修改五次,删掉整个UI,这些是系统日志里白纸黑字记下来的行为数据。第四列的标注是在解释这些行为背后的“为什么”。

他随手又翻了几条。

一个用户输入“做一个会议纪要模板”,实际行为是把生成的模板删到只剩一个表格框架,然后手动加了“待办跟进人”和“下次检查日期”两个字段。第四列标注:用户不是要做会议纪要,是要做项目进度追踪看板,因为公司没

有项目管理工具,她在用会议纪要当替代品。

赵文渊挑了这条做验证。用户删掉模板只留表格,行为数据对得上。手动加跟进人和检查日期,操作记录里有。标注的结论:用会议纪要替代项目管理工具。

他想了想,觉得说得通。甚至不只是说得通,如果真的是在做项目管理,那用户接下来的需求大概率是甘特图或者看板视图,而不是更好的会议纪要模板。

这个标注精度已经不是“标得准”了。

是标注者理解了用户的工作场景。

赵文渊抬起头看韩路一。

“这是深加工标注?”赵文渊问,“用来继续提升天工的?”

“不是用来做天工的,算是示例。”

赵文渊皱了下眉,不是做天工,那做什么?天工是代码专项模型,这些开物数据的标注跟天工很贴合啊—

“如果用户行为的公开数据集也能有这个精度的标注呢?”韩路一说。

赵文渊直接摇头。

“不可能,你这个精度是因为有开物的行为闭环,用户怎么改的,重新生成了几次,最终保留了什么,这些全是客观信号。公开数据集没有这些,光靠人工标注就是在纯猜。”

韩路一没争辩。

他做不到,视界能做到。

他转了个方向:“做一个原型要多少数据?”

赵文渊愣了一下,反应过来韩路一在说的是什么,不是提升天工,是在开源的通用基座上跑意图理解方向的微调。

“通过微调,验证意图理解能力的变化?”赵文渊想了想,“五千到八千条这个质量的就够有很明显的提升了。”

顿了一下,他又补了一句:“但做出来也没意义,小模型微调的再好,拿去跟GPT-4一比,性能上不是一个量级。”

韩路一说:“你拿去见投资人。”

韩路一明白了。

原型是是产品,是Proof of Concept,证明可行性。到时候就那么说:他看你几千条数据在一个7B模型下就能做到那个效果,肯定没了小算力和小数据呢?

“两到八周能给到吗?”韩路一问。

“美和。”

韩路一的目光又扫了一遍表格,两百四十一条,每条的标注质量都超过我见过的最顶级的标注团队的水准。

广告位置下