智谱GLM-5.5的研发线索被曝光了:内部32B、122B、256B三档模型已经做完后训练,正在并入下一代基座。
这是知乎热榜一个问题的描述里转述的内容,出处是智猩猩AI整理的稿子,编辑林夕。稿子说的是「近日曝光的研发资料」,原始资料本身没有放出来。下面按条拆。
32B、122B、256B三档模型并进基座
爆料一:内部32B、122B、256B模型经过后训练,正合并进下一代基座。
先说两个词。基座,是一家公司的底座大模型;后训练,是底座训完之后,再针对具体任务继续打磨。32B、122B、256B说的是模型规模,B是十亿,指参数量。
换句话说,这三档不同大小的模型,各自练完之后要汇进同一个底座。这意味着后训练的成果没有留在各自的分支里,而是被收回主干。这是读法,不是资料原话。
【可信度:仅网传】
编程后训练里夹着量化金融和代码沙箱
爆料二:团队正在做面向GLM-5.5的端到端编程后训练。
端到端,大意是从任务输入到结果输出整条链路一起训,不拆成零散步骤。稿子同时提到,相关工作涉及量化金融训练环境、代码沙箱,以及金融编程领域的相关内容,描述在这里被截断。
代码沙箱,是一个隔离的环境,模型写出的代码可以放进去真跑,对错由运行结果说了算。把量化金融做成训练环境,说明编程训练的场景选到了金融这个垂直领域。这是从描述字面做的推断。
同样是「曝出」类的消息,可以对照看机器狗三秒变人形那条爆料的拆解:一条消息里,哪些是参数,哪些是转述,要分开读。
【可信度:仅网传】
100%RSI与100T:标题里的目标,不是资料里的原话
爆料三:研发线索指向100%RSI与100T数据。
这一条来自热榜问题的标题。RSI一般指递归自我改进,也就是模型参与改进它自己。100T数据则没有写明是什么口径。
标题用的是「线索指向」。这是整理者的概括,不是资料里写明的目标。资料里能看到的是后训练、基座合并、训练环境,到不了「100%」这种量级的结论。
知乎热榜上另一条AI话题的拆解里也出现过类似情况:热榜回答里的说法,和当事人本人说的,是两层东西。
【可信度:存疑】
目前能确定的只有
对国产大模型的竞争来说,这类线索有看头,在于方向:编程和金融这类能自动验证结果的场景,被放进了训练环境里。但看头不等于结论。
确定的:
- 知乎热榜上有这个问题,标题把线索概括为100%RSI与100T数据目标
- 问题描述引用了智猩猩AI整理的稿子,编辑为林夕
- 稿子的说法是:智谱在做面向GLM-5.5的端到端编程后训练
还只是网传的:
- 32B、122B、256B模型已完成后训练并正并入下一代基座
- 相关工作涉及量化金融训练环境和代码沙箱
- 研发目标是100%RSI与100T数据
