零一万物开源 Yi9B，代码数学综合能力全面增强

运维资讯 2024-03-08 泡泡 手机阅读

零一万物宣布开源 Yi-9B 模型，并声称该模型是当前 Yi 系列模型中的“理科状元”——代码和数学能力表现最佳；不偏科，中文能力也很强。“这是继今年1月23日开源多模态模型 Yi-VL-34B 之后，零一万物在开源方向上的又一重要成果。 ”

根据介绍，Yi-9B 是目前 Yi 系列模型中代码和数学能力最强的模型，它的基本信息如下：

  • 参数大小：Yi-9B 的实际参数为 8.8B。

  • 上下文长度：与 Yi 系列其他模型一样，默认上下文长度是 4K tokens。

  • 训练数据：

    • 数据量：Yi-9B 是在 Yi-6B （使用了 3.1T tokens 训练）的基础上，使用了 0.8T tokens 进行继续训练。

    • 数据时间：使用截止至 2023 年 6 月的数据。