Meta 公布革命性可扩展模型架构 Megabyte如今热捧的生成式 AI 模型，如 GPT-4 等，都是基于谷歌 2017 年提出的 转换器 Transformer 架构。Meta 的研究人员认为该架构存在两大设计缺陷：其一，转换器模型需要关注所有令牌，当需要处理的令牌数以千计时，计算非常密集。其
2024-07-16