昆仑万维宣布开源 2 千亿稀疏大模型 Skywork-MoE ， 性能强劲， 同时推理成本更低。Skywork-MoE 基于之前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来， 是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE大模型，也是首个支持用单台 4090 服务器推理的开源千亿 MoE大模型。 “我们希望本次开源的 Skywork-

Mixtral 8x7B 的推出， 使我们开始更多地关注 基于MoE 的大模型架构， 那么，什么是MoE呢？ 1. MoE溯源 MoE的概念起源于 1991 年的论文 Adaptive Mixture of Local Experts（https://www.cs.toronto.edu/~hinton/absps/jjnh91.pdf）。这个概念与集成学习方法相似，旨在为由多个单独网络组成的系统