科大讯飞“自主可控”语音大模型上线,Spark-Audio-1.0-Preview能听懂人话

按照以往的经验,大模型音频处理普遍采用语音转文字的级联方案,存在显著技术缺陷。该模式会丢失语音自带的情绪、语气、环境音等关键信息,导致模型场景判断不全面。同时,这种架构将语音转写、声纹识别等功能拆分为多个独立模块串联运行,链路存在断点,不仅容易叠加识别错误,还会造成使用延迟、卡顿等问题,极大影响音频交互体验。

文章配图

科大讯飞“自主可控”语音大模型上线,Spark-Audio-1.0-Preview能听懂人话

针对传统方案的技术瓶颈,讯飞星火全新国产语音基座大模型 Spark-Audio-1.0-Preview 正式问世。模型打破语音先转文字的固有逻辑,实现音频端到端直接理解,可同步识别人声、环境音、音乐等各类声音信号,精准解读音频中的语义、情绪与场景特征,让人工智能实现了从听清声音到听懂内容的技术升级。

文章配图

据了解,Spark-Audio-1.0-Preview 为纯国产自研模型,依托国产算力集群训练打造。模型搭配专属音频编码器与混合结构大语言模型,依托千万小时级音频数据训练而成,支持文本、语音双模态输入,覆盖近百种语言、两百余种方言,可一站式完成语音翻译、声纹识别、情感分析、音频问答等多项复杂任务。

从综合性能来看,该模型表现优异,多项评测指标对标并超越主流海外模型,中文场景拿下最优成绩,在高噪音、小音量等复杂真实场景中优势突出。同时模型通用性稳定无明显缩水,支持行业微调适配各类语音场景。目前 Spark-Audio-1.0-Preview 已开放体验,对应的 API 后续也将逐步登陆讯飞开放平台。

文章配图

公开测试集-音频

文章配图

自建测试集-音频

文章配图

自建测试集-音频-复杂场景

文章配图

也许你还喜欢

航海王热血航线罗布鲁兹有什么技能

最近有很多小伙伴表示对航海王热血航线游戏中的罗布鲁兹很好奇,那么

光遇小王子季第三个任务怎么做-光

很多网友在玩光遇的时候,表示还不太清楚小王子季第三个任务怎么做?

王者荣耀全民电竞红包怎么获得-王

王者荣耀全民电竞红包怎么获得呢?王者荣耀游戏中的全民电竞红包是全

原神无尽骤战重甲骑士战阵怎么过-

原神游戏中无尽骤战活动已经到了第五天了,原神无尽骤战重甲骑士战阵

会声会影x9如何插片头? 会声会影x9

会声会影X9是一款专业的视频编辑软件,会声会影X9插片头功能,支

会声会影x9如何调光影? 会声会影x9

会声会影X9是一款专业的视频编辑软件,会声会影x9调光影功能提供

不思议迷宫遗落之城训练营有哪些特

不思议迷宫游戏中的遗落之城训练营都会给我们带来什么属性,有很多小

Access 2013如何建立台账,Access 20

Microsoft Office Access 2013是一款专

江湖悠悠蛇刃怎么培养?江湖悠悠超强

江湖悠悠中,超强武器蛇刃很难获得,那么这个武器怎么培养呢?下面小

会声会影x9如何导出? 会声会影x9导

会声会影X9是一款专业的视频编辑软件,会声会影X9提供高效的视频