MoE(混合专家模型)

huggingface:https://huggingface.co/blog/zh/moe

github: https://github.com/huggingface/blog/blob/main/zh/moe.md

知乎:https://zhuanlan.zhihu.com/p/679265750

其他网站介绍:大模型的研究新方向:混合专家模型(MoE) - 53AI-AI知识库|大模型知识库|大模型训练|智能体开发

什么是MoE大模型,又具备哪些优势? - 53AI-AI知识库|大模型知识库|大模型训练|智能体开发

MoE模型:MOE 系列模型小记 | 记忆笔书

总结

优点:
  • 与稠密模型相比,预训练速度更快;
  • 与具有相同参数数量的模型相比,具有更快的推理速度;
缺点
  • 需要大量显存,因为所有专家系统都需要加载到内存中;
  • 在微调方面存在诸多挑战,但 近期的研究 表明,对混合专家模型进行 指令调优具有很大的潜力。

在混合专

相关推荐

Kitta:Code Review Agent,提升代码审查质量

本文将介绍 Kitta,一套面向领域深度定制的 Code Review Agent。它将通用智能体领域化,通过沉淀项目级专家资产、定制审查流程与领域知识库,并构建在线离线协同进化闭环,精准解决领域特定的代码问题。

技术引领业务创新 305

AI 网关上线 FinOps 会话观测,助力企业优化 Agent 成本

阿里云AI网关Serverless版上线Agent管理功能,可将模型用量细分至各Agent、会话、轮次及模型调用层级,支持ClaudeCode、Codex等主流Agent接入,实现用量归属清晰化。通过整体统计与智能洞察,定位高耗时、高用量任务;结合会话详情,精准分析每轮调用的Token消耗与性能表现,助力企业优化模型选择、上下文设计与工具流程,实现Agent使用成本的精细化管控与持续优化。

技术引领业务创新 414

JEV:一个不会写代码的模型,为什么拿下4000万美元?

2026年,TypeSafeAI推出模型JEV,以“智能if语句”形态实现毫秒级、可校准的概率判断,推动AI系统从“大模型一统”迈向“快慢思考解耦”。它放弃自回归生成,专注结构化决策,通过非自回归并行采样与概率校准(RLCD),将分类、路由等高频判断任务效率提升数十倍。其背后是算子优化、长上下文扩展、训练对齐等层层工程突破的必然结果。在系统架构上,JEV代表“System1”——快速、可靠、可控的判断层,与“System2”(如GPT类推理模型)协同,形成“置信度闸门”式编排。这不仅是技术演进,更是对“何时

技术引领业务创新 326

Agent 时代,前端怎么变?读懂 AG-UI、A2UI 与 MCP Apps 的分工与协同(上)

本文将聚焦到 AG-UI、A2UI、MCP Apps 这三种常见标准及其开发,彻底带你看懂各自的定位、能力与区别。

技术引领业务创新 471

零代码改造:让 AI Agent Sandbox 不再是黑盒

2026年,AIAgent迈向“会干活”时代,阿里云AgentSandbox以MicroVM隔离、每分钟1.5万实例弹性扩容与内存级休眠唤醒,构建安全高效的执行底座。为破解沙箱“黑盒”难题,云监控2.0推出OpenTelemetry无侵入监控(OBI),无需改代码、不重构建镜像,即可自动采集模型调用、工具执行与外部访问链路,实现对大模型生成代码的全链路可观测。结合应用拓扑、调用链与GenAI语义分析,助力性能优化、成本管控与安全审计。三步接入即刻启用,真正实现“安全跑得动,透明看得清”。

技术引领业务创新 390

千问办公 × AgentBridge:连接企业数据,让智能分析触手可及

2026云栖大会,千问办公联合AgentBridge发布“数据分析专家”套件,支持业务人员用自然语言提问,自动调用企业多源数据,完成分析、复核并生成可交付的报告与看板。该套件通过连接ERP、CRM等系统及知识库,实现退单诊断、客户挽留建议等场景的智能分析,提升经营复盘、周报撰写等效率。用户可通过快捷命令一键执行数据质量检查、报告生成与仪表板构建,所有结论附带可核查的数据证据卡,推动数据资产在团队中复用,真正实现“从提问到结论”的高效闭环。

技术引领业务创新 295

拆解爆火的 JEV(下):在 Agent 系统中的 8 类典型应用场景。

本文系统拆解了JEV类快速决策模型在Agent系统中的八大典型应用场景:ReAct行动循环、Web自动化、工具路由、安全守卫、任务评估、模型路由、RAG筛选与上下文管理、实时动态决策。核心思路为“LLM规划生成,JEV高速判断,程序确定执行”,通过毫秒级响应提升决策效率,降低推理成本,适用于高频、有限选项的判断任务,显著优化Agent性能与可扩展性。

技术引领业务创新 268

拆解爆火的 JEV(上):10 分钟看懂这款 Agent 的高速“协处理器”。

JEV是TypeSafe推出的高速决策模型,专为Agent系统设计,解决传统LLM在决策任务中速度慢、成本高的问题。它不生成文本,而是快速回答“选择、评分、判断”类问题,输出带概率与置信度的结构化结果,支持批量处理。通过RLCD训练,提升概率校准度,增强决策可信度。与LLM协同工作,承担高频判断任务,如工单路由、情绪识别、安全评估等,显著降低延迟与成本。适用于自动化分流、安全守卫、动态工具选择等场景,但对复杂指代、多模态、算术计算等仍有限制。定位为Agent系统的“协处理器”,推动智能体高效化发展。

技术引领业务创新 193

AgentScope 2.0 源码解析RAG 模块|一条流水线、两个硬边界、三个抽象基类

AgentScope2.0的RAG模块将知识索引抽象为五阶段单向流水线:Parser→Section→Chunker→Chunk→KnowledgeBase→VectorStore。核心设计亮点包括:Section作为硬边界,杜绝跨页拼接;Chunk仅含基础字段,分数与向量由包装类(VectorRecord/VectorSearchResult)隔离;metadata_filter实现纵深防御租户隔离;collection懒创建,支持多后端无缝切换。该架构通过“分阶段+不变量数据类型+硬边界”确保可测试、可

技术引领业务创新 449

NVIDIA Dynamo 部署实战:从环境踩坑到 vLLM 模型上线

本文详解NVIDIA Dynamo 1.0在CentOS 7上部署vLLM模型的实战过程,涵盖内核升级、GCC编译器配置、NVIDIA Container Toolkit安装等关键踩坑点。通过nvcr.io/nvidia/ai-dynamo/vllm-runtime:1.2.0容器镜像,结合Frontend与Worker组件,实现本地Qwen2.5-0.5B-Instruct模型的OpenAI兼容推理服务。验证环节确认GPU可用性、健康状态及接口响应正常,最终提供完整访问地址与故障排查方案。Dynamo以容

技术引领业务创新 542

什么是 Harness?让 AI 从“会回答”变成“可控地做事”

本文提出“Harness”作为LLM/Agent运行时的工程系统,解决模型判断与真实执行之间的鸿沟。它通过四层架构——工作材料、行动能力、控制运行、质量责任,确保任务有正确上下文、可执行工具、安全边界与结果验证。模型决定“做什么”,Harness保障“能否做、如何做、是否完成”。强调:提升Harness比换模型更具杠杆效应,且其复杂度应匹配任务风险与可逆性,避免过度设计。最终,模型的智能需靠工程系统可靠落地。

技术引领业务创新 187

从 Agent Framework 到 Agent Harness,开源 AgentScope 项目新定位

AgentScope2.0作为面向企业任务的通用AgentHarness,通过“服务侧统一编排、沙箱内隔离执行”的架构,实现长程任务的稳定推进。其核心机制覆盖任务规划、信息组织与受控行动三层:以状态管理保障进度连续,通过上下文管线与历史压缩优化模型输入,借助Tool-In-Sandbox模式实现权限与环境隔离。该框架支持可复用的PlanMode、子Agent协同与证据化反馈,助力企业构建ManagedAgents平台,将复杂任务的执行、监控与验收服务化,推动智能体从演示走向规模化落地。

技术引领业务创新 362

大模型训练的网络底座:RoCE/RDMA

大模型训练的通信瓶颈日益凸显,RoCEv2凭借内核旁路、零拷贝与协议卸载三大机制,结合PFC、ECN、DCQCN构建无损网络,成为AI集群主流。通过NVLink+RoCE两级拓扑与NCCL优化,实现高效梯度同步。落地关键:配置无损网络、启用GPUDirect、调优多路径与参数,并以带宽测试与丢包/暂停帧排查保障性能。

技术引领业务创新 538

QLoRA 高效微调完全指南

QLoRA通过NF4分位量化、双重量化与分页优化器,将65B模型微调显存需求从780GB降至48GB以内。其核心在于:4-bit存储主干权重(130GB→36GB),冻结主干避免梯度与优化器状态开销,结合LoRA全层适配与高效训练策略,实现单卡微调大模型。实战中,基于transformers+PEFT+bitsandbytes可轻松在8GB显卡上完成7B模型微调,性能媲美全参微调。

技术引领业务创新 282

GPU推理节点部署与Dynamo访问验证全指南

本文复盘了在定制内核 CentOS 7.3 节点 wc-prodk8s-1-137 上部署 NVIDIA Dynamo vllm-runtime 1.2.0 的完整流程。通过升级至 elrepo 官方内核 5.4.278,清理残留组件并统一 SystemdCgroup,成功解决驱动与 CUDA 兼容性问题。最终通过 Docker 部署 Dynamo 并加载 Qwen 模型,验证前端服务访问正常。核心结论:版本兼容问题需“升级而非绕过”,底层环境清理是关键,可复用于同类机器。

技术引领业务创新 532

用 RBAC 理解权限为什么需要角色

本文以电商后台退款权限管理为切入点,阐述RBAC(基于角色的访问控制)如何解决权限配置重复、维护困难的问题。通过引入“角色”抽象,将零散的用户权限整合为可复用的职责单元,实现权限的集中管理与动态调整。文章进一步延伸至Kubernetes和Agent系统,说明RBAC在资源授权、服务间协作中的通用价值,并强调:权限需由服务端严格校验,前端仅作入口控制;角色决定“能做什么”,属性限制“对谁、在何条件下做”。最终指出,无论前端、后端还是Agent,理解“谁在请求、凭什么、作用于何资源”是构建安全系统的根本。

技术引领业务创新 114

让 Agent 越用越准、成本越来越低:AgentLoop 的 Agent 经验自进化闭环

AgentLoop 是面向 AI Agent 研发和生产运行提供的可观测与持续优化平台。它通过采集 Agent 的模型调用、工具调用和完整执行链路,将原始 Trace 转化为可分析的 Trajectory,并连接评估、实验和经验自进化能力,帮助企业发现问题、验证优化效果,再把真实运行中验证过的有效经验带回 Agent,形成“观测—分析—优化—再验证”的闭环。

技术引领业务创新 570

基于 AgentScope 构建金融级智能体底座实战

FinXScope是阿里云面向金融行业打造的AI原生智能体底座,基于AgentScopeJava构建,具备高可用、安全合规与可扩展性。其六层架构实现从意图理解、三层记忆到双模执行的全链路能力,支持“对话即服务”范式跃迁。通过统一执行引擎、热更新配置、多渠道流式交互及金融级权限管控,助力金融机构在财富管理、合规审查等场景实现智能体规模化落地。已服务超60家客户,验证了企业级智能体运行底座的核心价值。

技术引领业务创新 563

RDMA 与 RoCE 深度解剖:撑起千卡大模型集群的网络基石

本文深度解析了支撑千卡大模型训练的网络基石——RDMA与RoCE。针对传统TCP在延迟、CPU开销和丢包重传上的瓶颈,RDMA通过内核旁路、零拷贝和CPU卸载实现微秒级低延迟通信。RoCEv2基于无损以太网,结合PFC、ECN与DCQCN机制,在成本可控前提下逼近InfiniBand性能。配合NVLink、GPUDirect RDMA与NCCL集合通信库,构建起从节点内到跨节点的高效数据通路。未来,UEC与超节点技术将进一步重塑AI网络架构,让GPU真正“不等数据”,全力投入计算。

技术引领业务创新 267

智能聚类:从海量 Trace 中理解 Agent 的行为和表现

尽管有指标和Trace,Agent问题仍难看清,因汇总数据无法定位波动根源。云监控2.0通过智能聚类,将请求与会话按用户意图和任务主题归类,实现从交互到场景的洞察:Trace聚类识别执行意图,Session聚类拆分用户任务,结合语义向量与自动归因,精准发现高耗时、高摩擦场景。团队可按主题分析资源消耗、交互表现,下钻异常案例,持续追踪需求变化与优化效果,推动从被动排查转向主动改进。

技术引领业务创新 207

Windows 资源管理器无限重启?一招揪出微信/企业微信“WXDrive”插件作祟

Windows10 1607系统中,explorer.exe无限重启致桌面崩溃,经排查锁定罪魁祸首为微信/企业微信的WeDrivePlugin64_97.dll。该DLL因堆栈溢出(异常码0xc0000409)导致资源管理器崩溃。通过命令行禁用自动重启、重命名损坏DLL并修复注册表,可临时恢复系统。建议卸载或更新微信/企业微信,并尽快升级至受支持的Windows版本,以彻底解决兼容性与安全问题。

技术引领业务创新 331

同创星图正式发布:让金融智能体实现「全链路可管可控」(THS)

过去20年我们学会管控代码,未来需驾驭AI。同创星图(AgentAtlas)是同花顺打造的金融智能体全链路运维平台,通过评测、观测、监测、安全四大功能,将智能体从“不敢用”变为“敢用”。它实现上线前准入、运行中实时监控、输出合规审查与全链路安全防护,沉淀可复盘的归因数据,驱动智能体持续进化。目前已有200+智能体接入,稳定观测超1.2亿次调用,真正让智能体走进真实业务生产环境。

技术引领业务创新 508

Agent 的基本任务循环:目标、计划、执行、观察、修正

本文拆解Agent的核心任务循环:目标澄清→计划拆解→执行动作→观察反馈→修正路线→验证结果。强调Agent不是一次性回答,而是通过持续迭代推进任务,将模糊目标转化为可验收成果。关键在于每一步都依赖真实反馈,动态调整,最终实现从“看起来完成”到“真正完成”的验证。人类应在目标、权限、高风险操作和最终验收等关键节点介入,确保安全与责任边界。真正的智能不在于生成答案,而在于构建可靠的任务推进系统。

技术引领业务创新 350

deepseek-v3-moe-mla

DeepSeek-V3 以 671B 总参数实现仅 37B/token 激活,通过 MoE 稀疏架构与 MLA 低秩注意力,大幅降低训练与推理成本。其无辅助损失负载均衡保障专家均衡,MLA 将 KV Cache 压缩至原体积的 1.8%,显存占用下降超 90%。结合 FP8 训练、DualPipe 流水线与 MTP 多 token 预测,278.8 万 H800 小时完成训练,8 卡 H800 即可部署,实现高性能与低成本的平衡。

技术引领业务创新 327

大模型管理中台模型探活设计方案(THS)

本文提出大模型管理中台的“探活”设计方案,解决Gateway对下游模型副本健康状态“盲知”问题。通过管理面主动探测、状态机动态维护、Nacos快照同步与数据面过滤,实现健康副本自动摘除与恢复。核心创新包括:基于config_hash的状态重置、四态健康机(HEALTHY/UNHEALTHY/CONFIG_ERROR/UNKNOWN)、动态配置支持及可视化聚合状态。方案确保高可用、低延迟,从“瞎猜”走向“精准摘除”,显著提升大模型服务稳定性。

技术引领业务创新 482

K8s云原生-GPU 虚拟化切分与算力调度实战

本文记录了在K8s 1.35.6环境下实现GPU资源池化的完整实践,针对T4显卡不支持MIG的限制,选用开源方案HAMi v2.10.0实现显存与算力双维度隔离。通过关闭GPUOperator的驱动和DevicePlugin组件,结合HAMi的调度扩展与运行时拦截机制,将一张物理卡虚拟为10个可调度单位,支持多Pod共享并严格控制资源使用。验证表明,超额申请会被真实拦截,且互不影响。关键经验包括:前置检查、版本对齐、运行时诊断与分层验证。最终实现从“一卡一Pod”到“按需分配”的高效利用,显著提升GPU利用

技术引领业务创新 641

GPT Image 2.5 发布:AI 生图开始真正进入生产力时代

OpenAI 在 9 月 8 日正式发布 ChatGPT Images 2.5。相比 Images 2.0,官方重点其实就四个:生成速度最高提升 50%、参考图人物/主体保持更好、局部编辑更精准、多轮编辑一致性明显增强。同时新增了 Sketch 草图输入、图片局部评论修改、Poster / Merch 等模板。

技术引领业务创新 239

Agent 到底是什么?它不是人格,而是任务执行系统

Agent 不是一个更像人的 AI 角色,而是一套围绕目标运转的任务执行系统。

技术引领业务创新 363

Workspace 与 Sandbox:代码在哪里改,命令在哪里跑

本文通过一个Node.js项目示例,演示了Agent在修改代码、运行测试时的权限控制机制。核心在于工作区(Workspace)与沙箱(Sandbox)的分离:Agent仅能访问指定目录,系统通过Runtime根据配置规则(如denyRead)限制文件和网络访问。以修复slugify()函数为例,沙箱确保其无法读取~/Private等敏感目录,即使命令被允许执行。权限检查在启动前完成,失败则直接拒绝,不依赖运行时错误。实现依赖操作系统级沙箱(如macOS Seatbelt、Linux bubblewrap),

技术引领业务创新 298

MCP 的基本结构:Host、Client、Server、Tools、Resources、Prompts

本文厘清MCP基础结构:用户通过Host(AI应用)接入,由Host内部的Client连接外部Server,Server则提供Tools(行动)、Resources(上下文)和Prompts(流程模板)三类能力。关键在于理解角色分工——模型不直连外部系统,而是由Host统筹管理能力接入与上下文组织。强调先建立“Host-Client-Server”关系图,再深入协议细节,避免将MCP误解为简单工具调用。

技术引领业务创新 624
上一篇: WPS加载项开发
下一篇: 大模型训练-RLHF
THS_Allen
THS_Allen 思莱德软件官方账号 思莱德软件官方账号
博客等级 码龄11年 2516粉丝 1160原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值