AI前沿 | 2026年9月5日：腾讯混元Hy4 preview开源 + 7700亿MoE架构 + 百万Token上下文

AI前沿 | 2026年9月5日：腾讯混元Hy4 preview开源 + 7700亿MoE架构 + 百万Token上下文

📖 首屏导读 · 本教程配套付费专栏：《大模型工程师修炼手记》 19.9 元（AI 编程 · Agent 实战 · 本文同主题系统课程）· 《AI时代程序员的自我提升》 49.9 元（AI 时代成长方法论）

单篇不过瘾？订阅解锁全量源码、实战与答疑；文末附资料包领取方式 ↓

📊 今日一句话：8 月 28 日腾讯混元发布并开源 Hy4 preview——770B 总参 / 49B 激活 / 1M 上下文，163 位专家盲测 203 项工程任务均分 2.99 略胜 GLM-5.3 与 Kimi K3；到 9 月 5 日开源第 8 天，权重已从约 1.5TB 压到约 214GB、WorkBuddy 首发限免进入倒计时。国产开源旗舰的竞争，已经从「谁的参数大」切换成「谁能把权重塞进更小的显存、把 Agent 接进更大的办公入口」。

一、把参数表摊开：770B / 49B / 1M 到底意味着什么

先纠正一个流传很广的日期错误：Hy4 preview 的开源日是 2026 年 8 月 28 日（周五），不是 8 月 31 日。新华网、科技日报、科创板日报与腾讯官方模型卡给出的口径一致。

官方模型卡里的主干规格如下（参数口径不含 MTP 层）：

三个技术细节值得单独拎出来：

• Hugging Face 文件页显示 780B，而不是 770B——差额来自原生内置的 MTP 投机解码层（10B 总参 / 0.7B 激活），官方口径的 770B 指主干网络。这不是虚标，是「多送了一层推测解码」。
• 注意力用了 Gated DSA + IndexCache：前者是受 DeepSeek 与 GLM 启发的 Gated DeepSeek Sparse Attention，后者做跨层的稀疏索引复用。残差侧用 iHC（identity Hyper-Connections）把层间信息通路从 1 条扩到 4 条残差流。这套组合是 Hy4 敢把上下文从 256K 拉到 1M 的底层原因。
• 和前代 Hy3 的差距是全面放大：Hy3（2026 年 7 月 6 日发布）为 295B 总参 / 21B 激活 / 256K 上下文，Hy4 preview 总参约为其 2.6 倍、激活参数翻倍到 49B、上下文扩到 1M。自 2026 年 2 月混元重建预训练与强化学习基础设施以来，其大版本迭代节奏是平均两个月一次，由首席 AI 科学家姚顺雨主导。

💡 核心解读：「大而不笨」是 MoE 这两年唯一被反复验证的架构命题——770B 的能力储备对上 49B 的推理账单。但对使用者来说更该记住的是 1M 上下文：它意味着整本手册、整个 Monorepo 可以一次性塞进去，而不用切成十段反复重问。上下文长度从「卖点」变成「工程前提」之后，模型的差异就转移到了「长上下文里能不能不丢前情、能不能不乱自我验证」。

二、163 位专家、203 项任务：2.99 分到底是怎么赢的

腾讯组织 163 位内部专家，基于 203 个真实工程任务做盲测（WorkBuddy 环境下进行），Hy4 preview 平均得分为 2.99 / 4.00：

腾讯官方口径只说「略优于」。这个措辞是诚实的：三款模型处于同一梯队，Hy4 preview 对 Kimi K3 的胜率刚过五成。

公开文字报道中能核对到的官方基准分数（与同代模型的横向对照一并列出）：

💡 核心解读：Hy4 preview 相对 Hy3 是代际跃升（DeepSWE 从 28.0 到 64.3，Terminal-Bench 2.1 涨 14.6 分），但放到 Kimi K3 / Qwen3.8-Max 旁边就是贴身战——APEX-Agents 甚至落后 Kimi K3 0.1 分。而且这些横向数字的测试条件并不完全一致：Qwen 用 Claude Code harness 跑 5 小时超时，Moonshot 则按自己的 max reasoning 设置自测。同一套测试，不总是同一套条件。另外，Code Arena 的 WebDev 榜上，Hy4 preview 自动评估得分排第 5、开源模型中第 3。

必须点明的一点：以上数据在 8 月 28 日发布当天的口径，全部是腾讯自述——当时没有 Artificial Analysis 收录、没有 Hugging Face Open LLM Leaderboard 数据、没有社区独立实测，第三方媒体基本是通稿转载。真正独立的第三方标尺当时给出的排序是另一回事：据第三方整理的 Artificial Analysis 智能指数口径，截至 2026 年 8 月初，开源权重模型里排最高的是 Kimi K3（Max）57 分，超过 Claude Opus 4.8（约 56 分），排在 Claude Fable 5（约 60 分）、GPT-5.6 Sol（约 59 分）之后。「Hy4 preview 稳居开源第一梯队」和「Hy4 preview 是开源第一」不是一回事。

三、递归式自我改进：模型第一次参与优化自己的训练与推理

这是 Hy4 preview 最有想象力、也最需要泼冷水的一节。

腾讯的表述是：Hy4 preview 首次参与自身研发全链路中训练方法、数据策略、评估体系和底层算子的自动优化。流程是——模型提出方案、运行实验、根据结果继续迭代，实验产生的代码、日志和反馈进入下一轮探索，由此形成初步的递归自我改进闭环。

更工程化的一块是推理系统自优化：模型自主分析推理系统瓶颈，围绕算子融合、通信优化等方向开展多轮调整，端到端吞吐量相较基线提升 31.8%，且在 4K–256K 上下文、1–64 并发下都有稳定收益。拆开看收益结构更有意思：

💡 核心解读：Decode 侧 40% 以上的增益，是实打实跑出来的工程结果——它比「递归自我改进」这个概念本身更有价值，因为 decode 正是长程 Agent 任务里最烧钱、最影响体感的一段。但闭环到底有多深、能不能在小模型上复现，目前官方没有给出可复现的判定标准。把「模型参与了优化自己的训练方法」当成「模型已经能自主迭代出更强模型」，中间还隔着整个工程验证体系。

四、从 1.5TB 到 214GB：量化把开源旗舰的门槛砸了下来

9 月 1 日，腾讯混元推出并开源 Hy4 preview 轻量版，把权重从接近 1.5TB 压缩到 约 214GB。这不是简单的 GPTQ/AWQ 量化，两项核心技术是：

• Sherry 稀疏三值量化算法：把路由专家层权重压缩至平均 1.25 比特。
• MIX-STQ1_0 混合精度策略：依据校准数据逐层决定位宽——敏感层保留较高精度（2.06 比特，IQ2_XXS），不敏感层采用更激进的 1.31 比特（STQ1_0）。

精度代价是可量化的，且代价比想象中小：

真正有想象力的是异构设备联合推理：腾讯混元与 prima.cpp 合作验证了一套方案，在一台单张 4090 的笔记本与一台四卡 A4000 服务器（合计 80GB 显存、64GB 内存，分属两个局域网）上，通过 prima.cpp 的异构调度把 MoE 层拆分分配，让 214GB 的轻量版模型跑到 1.02 token/s 的推理速度，比笔记本单机 offload 快约 6 倍。轻量版已上线 Hugging Face 与 GitHub，支持 llama.cpp、vLLM、SGLang 等主流推理框架，配套量化工具 AngelSlim（同时提供 AngelSlim/Hy4-preview-GGUF 量化权重与 github.com/Tencent/AngelSlim 仓库）。

💡 核心解读：1.25 比特这个数字比「770B」更有冲击力。当开源旗舰的部署门槛从「8 张 H 系列卡 + 1.5TB 存储」变成「两张 4090 + 一台工作站」，开源模型的商业化路径就从「大厂自建推理集群」下沉到了「中小企业自建边缘推理节点」。这也解释了为什么 8 月底阿里、智谱、腾讯、讯飞几乎同月全部把「可本地部署」当成主线——国产开源旗舰的竞争已经从模型能力，转向了「谁能让模型跑进别人的机器里」。

五、部署与成本：8 卡起步，缓存命中 0.3 元

先泼一盆冷水：全精度自部署不是消费级机器扛得动的事。

vLLM / SGLang 目前没有现成支持，需要从源码编译后启动：

# vLLM 从源码编译后启动（8 卡 FP8）
vllm serve tencent/Hy4-preview-FP8 \
  --tensor-parallel-size 8

API 定价走的是「普惠」路线，国内与 OpenRouter 两套口径：

几个使用细节：

• 限免：WorkBuddy / CodeBuddy 首发限时免费两周，官方口径免费期到 2026 年 9 月 10 日 23:59（每天有额度上限，触顶后消耗积分，繁忙时需排队）；Hy3 的限免已延长至 9 月 30 日。
• 调用已出现排队压力：8 月 31 日腾讯混元披露，Hy4 preview 上线后调用量激增，WorkBuddy 已紧急扩容。
• 推荐参数：官方建议 temperature=0.9、top_p=1.0，reasoning 默认 high；要速度就传 no_think，要质量保留默认。多轮工具调用时必须把完整 Assistant 消息（含 reasoning_content）回传，否则后续调用的连续性会受影响。
• 入口：WorkBuddy（办公）、CodeBuddy（IDE / 插件 / CLI 三端）、元宝、ima、aistudio.tencent.com 在线体验，API 可走腾讯云 TokenHub 与 OpenRouter（模型 ID：tencent/hy4-preview）。

💡 核心解读：缓存命中 0.3 元才是这套定价里最值钱的一项。长程 Agent 任务中系统提示、工具定义、历史上下文会被反复重发，缓存命中率直接决定账单的量级。对做 Agent 产品的团队，选模型时应该用「缓存后等效单价」而不是「宣传单价」来算账。

六、放进第一梯队坐标系：谁在贴身，谁在另辟战场

把 2026 年 9 月初公开可核对的国产旗舰摆在一起（参数口径来自各家模型卡与社区整理，非同批次测评）：

这张表能读出两条完全不同的路线：一派继续在云端堆万亿参数（Kimi K3、Qwen3.8-Max），一派把百万上下文打到端侧（讯飞星火 X2.5-4B/1.7B，9 月 1 日开源，原生支持最长 100 万 Token，是端侧首个达到该量级的产品）。而 Hy4 preview 站在中间：云端旗舰的能力上限 + 214GB 量化后的可部署性。

DeepSeek V4 Pro 在这张表上是个特例——它的参数量缺乏统一公开口径，但上下文同样是 1M，代码侧的招牌是 SWE-bench Verified 80.6%，定价长期贴着地板价。

💡 核心解读：百万上下文已经不是「谁支持」的问题，而是「谁支持得更好」的问题。当腾讯 770B、阿里 125B、讯飞 4B 三档完全不同的模型同时宣称原生 1M，上下文长度本身就不再构成差异化——真正的差异转移到了三件事：推理效率（稀疏注意力 + 算子融合 + 量化）、Agent 任务表现（MCP、工具调用、长程规划）、成本（缓存价、开源许可、部署门槛）。

七、办公 Agent 入口战：WorkBuddy 的 2097 万次月访问

模型开源只是上半场，下半场在产品入口。据界面新闻援引易观报告：2026 年二季度国内办公智能体平台中，腾讯 WorkBuddy 以 2097 万次 PC 端月访问量排名第一，超过第二名字节 TRAE 与第三名阿里 QoderWork 的总和，WorkBuddy 月活处在 2000 万级别、日活百万级别。

Hy4 preview 与这个入口的关系写得很直白：混元发文称 2026 年 8 月 28 日 Hy4 preview 在 WorkBuddy 首发接入，而 9 月 2 日 14:00 腾讯在深圳举办了 WorkBuddy 生态发布会。到 9 月 5 日，这套「模型—产品」协同刚好跑满一周。

机制上有两点值得记：

• Co-Design 是双向的：姚顺雨在腾讯内部高频提到，模型团队根据真实产品里的失败案例改进模型，产品团队再根据模型的新能力重新设计工作流。WorkBuddy 同时接入混元、DeepSeek、GLM、Kimi——这牺牲了混元的独占性，却换来了办公入口的位置。
• 代价是实打实的：2026 年二季度腾讯资本支出同比增长 176%，自由现金流转负。7 月腾讯合并混元多模态模型部门与大语言模型部门，成立基础模型部，由姚顺雨统一管理。

对手盘同样在收紧：8 月 3 日阿里把 QoderWork、MuleRun、悟空整合为企业级 Agent「千问办公」；8 月 25 日字节开启「豆包工作」公测并与飞书深度打通；7 月字节已合并飞书产品团队与豆包产品团队。8 月 26 日阿里与智谱同日开源新模型（Qwen3.8-Flash-Next 与 GLM-5.3-Flash），9 月 1 日讯飞端侧百万上下文开源、预告 9 月 7 日发布星火 X2.5-293B——国产模型在 8 月底到 9 月初这段时间，几乎没有一天是空窗。

💡 对创业者的启示：「开源模型 + 自建入口」的路，对绝大多数团队已经不成立了。当头部厂商把 770B 模型免费塞进自家办公 Agent、把 4B 模型塞进端侧设备时，创业公司再去做一个「通用办公 Agent」，本质是在跟一个每天有 2000 万月活、能把模型迭代和用户反馈闭环起来的产品正面打。更现实的位置在模型和场景之间：模型不自己训，场景自己挖——垂直行业的私有数据、合规要求、异构硬件适配，这些巨头反而没有动机做。

八、已知局限与选型清单：8 条可以直接用的结论

先把官方模型卡明确写出的局限摆清楚：

给工程师和创业者的 8 条行动清单

1. 先用自己的数据测，不要只看榜单。Hy4 preview 的 2.99 分来自腾讯内部 203 项工程任务的盲测，环境是 WorkBuddy；你的业务场景大概率不在这个分布里。
2. 用「缓存后等效单价」算账，别用宣传单价。Agent 场景下真正决定账单的是缓存命中价——国内 0.3 元 / 百万 tokens、OpenRouter $0.042 / 百万 tokens，只有把重发的系统提示与历史上下文算进等效单价，选型结论才会翻盘。
3. 想要速度就传 no_think。官方自己承认有长思考和过度验证倾向，这条建议直接来自模型卡。
4. 工具调用必须完整回传 reasoning_content，这是接口层最容易踩的坑，踩了表现会莫名其妙地掉一截。
5. 评估量化版的性价比，而不是 BF16。214GB 轻量版在 MCP Atlas 只掉 0.5 分、SWE-Bench multi 掉 1.6 分，却把部署门槛砍掉一个数量级。
6. 需要多模态就别选它。Hy4 preview 是纯文本模型，图像/音视频任务会切到混元其他多模态模型并另外消耗积分。
7. 关注 9 月 10 日这个节点。WorkBuddy / CodeBuddy 的首发限时免费在当天截止，Hy3 的限免延到 9 月 30 日——想零成本试水，窗口就在这一周。
8. 不要自己训 770B，但一定要会用 4B/1.7B 端侧模型。讯飞星火 X2.5-4B/1.7B 原生 1M 上下文、9 月 1 日开源、兼容 vLLM/SGLang/llama.cpp，硬件只要求英伟达/华为/海光/后摩——端侧那部分需求，交给端侧模型比塞给云端旗舰更划算。

💡 核心解读：把 Hy4 preview 放到 2026 年 9 月的坐标系里看，它最重要的意义不是「又一个大模型」，而是开源旗舰同时踩准了三条趋势：递归式自我改进（模型参与优化自己的训练与推理）、极低比特量化（1.25 比特把 770B 塞进 214GB）、模型与产品的 Co-Design（首发就进 WorkBuddy 自家流量池）。这三条恰好是接下来一整年开源模型的竞争主轴。

数据来源：新华网（2026-08-28）、科技日报（2026-08-28）、21 世纪经济报道（2026-08-28）、腾讯混元官方模型卡 README_CN（Hugging Face / ModelScope / GitCode / CNB）、腾讯官方发布页、腾讯云开发者社区、科创板日报、IT 之家（2026-09-01）、新浪财经（2026-09-01）、界面新闻、易观报告、36 氪 / 智东西（2026-08-27）、Featherless 模型卡横评等公开信息整理。文中价格与配额以各平台发布当日口径为准；技术解读为作者独立观点，仅供参考，不构成投资建议。AI前沿系列 · 2026年9月5日

📚 延伸阅读 · 我的付费专栏

觉得这篇文章对你有帮助？我把同类主题的系统化内容沉淀成了付费专栏，欢迎订阅支持持续输出：

👍 觉得有用？请一键三连：点个收藏方便随时查，转发给需要的同事朋友，有问题评论区见—— 收藏的人越多，越能帮到更多同路人；你的每个赞都在为原创内容投票。

💬 本文配套代码 / 资料包：欢迎在评论区留言「求代码」，我会私信发送完整资源！