一、模型推理优化 随着模型在各种场景中的落地实践，模型的推理加速早已成为AI工程化的重要内容。而近年基于Transformer架构的大模型继而成为主流，在各项任务中取得SoTA成绩，它们在训练和推理中的昂贵成本使得其在合理的成本下的部署实践显得愈加重要。 大模型推理所面临的挑战主要有以下两点： 巨大的内存（显存）需求，主要来自于模型本身参数和推理的即时需求。 对于一个LLaMA2-30B的模型，载