近期，华辰连科基于行业主流 uCPE 硬件平台，并结合企业在边缘设备上的核心应用，发布了 AI 智能网关整体解决方案。该解决方案将以网络处理见长的边缘侧传统智能接入网关，融合 AI 推理能力，将 AI 算力推向网络终端，可提供从驱动、操作系统一直到应用层的整套开发框架，帮助用户更好的完成产业的数字化
2024-07-17
腾讯混元DiT模型是业内首个中文原生的DiT架构文生图开源模型，为了提升开发者使用体验，腾讯混元官方上线了专属的加速库。开发者可通过 Hugging Face 下载该推理加速工具。 项目组通过知识蒸馏和TensorRT高性能推理框架，实现了DiT模型的采样步数压缩与高效推理部署。蒸馏主要指降低扩散
2024-06-12
一、背景 最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。本文基于我们在部署大模型推理集群时的一些经验，分享一些有效提升大模型的推理速度方法。最后，我们在结尾处推荐了几个经过我们评测且表现优异的大模型推理框架。
2024-05-21
一、模型推理优化 随着模型在各种场景中的落地实践，模型的推理加速早已成为AI工程化的重要内容。而近年基于Transformer架构的大模型继而成为主流，在各项任务中取得SoTA成绩，它们在训练和推理中的昂贵成本使得其在合理的成本下的部署实践显得愈加重要。 大模型推理所面临的挑战主要有以下两点：
2024-04-30
经过社区开发者们几个月的开发与贡献，现正式发布昇思MindSpore2.3.RC1版本，通过多维混合并行以及确定性CKPT来实现超大集群的高性能训练，支持大模型训推一体架构，大模型开发训练推理更简、更稳、更高效，并在训推一体框架的基础上通过多样的大模型推理优化技术，进一步降低大模型推理成本；通过使能
2024-04-25