商汤开源新模型!SenseNova Loop-9B-Preview号称可媲美27B参数大小

商汤科技10月30日宣布开源商汤日日新SenseNova Loop-9B-Preview。

文章配图

一、采用Looped Transformer架构,9B参数媲美27B模型

官方表示,该模型采用Looped Transformer架构,引入循环计算、扩展模型的有效计算深度,并探索更充分的信息交互机制,提升模型在复杂任务上的处理能力,在仅9B的有限参数规模下,媲美27B参数大小模型。

SenseNova Loop-9B-Preview以9B尺度模型为基座,保留首尾各4层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。在此基础上,模型进一步探索循环计算中的信息传递机制,尝试引入mHC(Manifold-Constrained Hyper-Connections),利用多路残差连接与受约束的信息混合,增强特征交互并维持信号传播的稳定性。

二、多项评测优于其他模型,部分指标超Qwen3.5-27B

据介绍,在当前评测设置下,模型在代码生成、办公场景和智能体任务等多个方向上均优于其他模型,并在WorkBuddy Bench、RaccoonPPT Bench和AutomationBench等评测中进一步超过Qwen3.5-27B。这些结果初步展现了通过扩展有效计算深度,提升小参数模型复杂任务处理能力的潜力。

文章配图

三、消融实验验证mHC收益,GPQA Diamond提升4.42分

商汤进一步通过消融实验评估了mHC的实际收益。采用该机制后,模型取得明显的性能提升,其中GPQA Diamond和TeamBench分别提高了4.42分和13.34分,展现出在复杂推理任务以及多步骤Agent任务中的应用潜力。后续还将继续探索DSA、自适应迭代次数等机制,以提升模型的推理效率与任务表现。

文章配图

也许你还喜欢

《星空》比B社之前RPG柞品更硬核

近日在E3 2021上,B社公布了科幻RPG大作《星空》(Starfield

罗蒙带眼罩是因为眼睛受伤了吗

拳皇98终极之战OL6月23日每日一题答案是什么?罗蒙带眼罩是因为眼睛受伤了

拥有并分享妲己女仆咖啡可以得到的

拥有并分享妲己女仆咖啡可以得到的皮肤专属个性动作叫做什么?这个问题就是王者荣

霸御乾坤手游下载 霸御乾坤最新安

不少玩家在搜索霸御乾坤手游下载时,最先注意到的就是把汉末名将当作

Steam错误代码-137怎么解决 Steam

在如今的玩家日常中,steam依旧是购买正版、浏览社区和跟进

《诸神战纪》今日正式上线!首周8折!

《诸神战纪:无限史诗》在11月5日正式版的上线!历经13载,6部作品的传

请问以下哪种元素会与火元素产生结

请问以下哪种元素会与火元素产生结晶的元素反应 A.岩元素 B.雷元素 C.冰

二次元战队被莱昂凯毒奶?小蜜蜂势如

莱昂凯也算是目前虎牙最受欢迎的CSGO主播之一,因为经常水晶哥、Uzi等人一

送都送不赢?IG拒绝OMG的白给,Rookie

LPL夏季赛正在如火如荼的举行当中,最近一场比赛是由OMG与IG带来,这两队

G36C最大的缺点是什么

G36C最大的缺点是什么?回复格式:hp+答案选项,例如答案是10,则回复: