Kimi 开放平台将启动 Context Caching 内测,支持长文本大模型 据月之暗面官方消息,Kimi 开放平台 Context Caching 功能即将启动内测,届时将支持长文本大模型,可实现上下文缓存功能——声称“让每个开发者都用得起长文本大模型”。 Context Caching 是由 Kimi 开放平台提供的一项高级功能,可通过缓存重复的 Tokens 内容,降低用户在请求相同内容时的成本。 官方表示,Context Caching 可提升 API 的接口响应速 运维资讯 2024-06-20 竹子爱熊猫