腾讯发布混元Turbo S:业界首次无损应用Mamba架构

haoteby 2025-03-24 16:27 7 浏览

21世纪经济报道记者白杨北京报道

2月27日，腾讯正式发布新一代基座模型——混元Turbo S。

据腾讯混元团队介绍，混元Turbo S在架构方面创新性地采用了Hybrid-Mamba-Transformer 融合模式，有效降低了传统Transformer结构的计算复杂度，并减少了KV-Cache缓存占用，从而实现训练和推理成本的下降。

Mamba架构是一种基于状态空间模型（State Space Model, SSM）的深度学习架构，通过引入选择性机制（Selective Mechanism），Mamba架构能够高效处理长序列数据。

而Hybrid-Mamba-Transformer是一种结合了Mamba架构和Transformer架构的混合模型，通过这种融合，使得它突破了传统纯 Transformer 结构大模型面临的长文训练和推理成本高的难题。

一方面，Hybrid-Mamba-Transformer架构可以发挥Mamba高效处理长序列的能力，另一方面，它也保留了Transformer擅于捕捉复杂上下文的优势。

据悉，混元Turbo S是工业界首次成功将Mamba架构无损地应用在超大型MoE模型上。

在业界通用的多个公开基准测试上，腾讯混元 Turbo S在知识、数学、推理等多个领域展现出对标DeepSeek V3、GPT 4o、Claude3.5等业界领先模型的效果表现。

腾讯混元团队表示，Turbo S将作为旗舰模型，成为腾讯混元系列衍生模型的核心基座，为推理、长文、代码等衍生模型提供基础能力。

值得一提的是，此前已在腾讯元宝上线的深度思考模型混元T1，就是基于Turbo S，再引入长思维链、检索增强和强化学习等技术而来。

目前，开发者和企业用户已经可以在腾讯云上通过API直接调用腾讯混元Turbo S，并且即日起一周内免费试用。

定价方面，Turbo S输入价格为0.8元/百万tokens，输出价格为2元/百万tokens，相比前代混元Turbo模型价格大幅下降。

对于C端用户，腾讯元宝则将逐步灰度上线混元Turbo S。

更多内容请下载21财经APP

turbo c2 0

相关推荐