运维资讯 - 每日运维网

KubeAI大模型推理加速实践｜得物技术

一、背景最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。本文基于我们在部署大模型推理集群时的一些经验，分享一些有效提升大模型的推理速度方法。最后，我们在结尾处推荐了几个经过我们评测且表现优异的大模型推理框架。

大树 2024-05-21

0 0 0

剧透！5 月 25 日武汉 LUG，精彩议题 & 活动环节早知道！

Hi，Linuxer！ 2024年5月25日（周六），我们将在华中科技大学举办举办WHLUG（武汉 Linux 用户组）线下沙龙，欢迎各位爱好者与我们一同聊聊对于 Linux 的期待、对于开源、开发等一切问题的想法和探索。本次活动由 deepin（深度）社区和华中科技大学开放原子开源俱乐部联合

穿过生命散发芬芳 2024-05-21

0 0 0

开源日报 | 俄罗斯站队RISCV的意义；大模型价格战；鸿蒙生态需要百万级别以上的开发者；微软”Copilot+PC”；iOS最牛的万能模拟器

欢迎阅读 OSCHINA 编辑部出品的开源日报，每天更新一期。 # 2024.5.21 今日要点 OpenSSF 推出 Siren 共享列表，加强开源安全开源安全基金会 (OpenSSF) 宣布推出一个名为 Siren 的威胁情报共享列表，旨在促进新的漏洞信息共享工作、加强全球开源项目的防

宇宙之一粟 2024-05-21

0 0 0

微软 Windows 过渡到 Arm 架构的核心组件 —— “Prism”模拟器

微软在 Build 2024 开发者大会上发布了新款 Surface 设备（Surface Laptop 和 Surface Pro），均为基于 Arm 架构芯片的消费级笔记本电脑。新款 Surface 设备搭载高通基于 Arm 架构的骁龙 X Elite 处理器，宣称在多线程性能和电池寿命

向阳逐梦 2024-05-21

0 0 0

通义千问 GPT4 级主力模型降价 97%，1 块钱 200 万 tokens

5月21日，阿里云宣布，通义千问GPT-4级主力模型Qwen-Long，API输入价格从0.02元/千tokens降至0.0005元/千tokens，直降97%，1块钱可以买200万tokens。据介绍，这款模型最高支持1千万tokens长文本输入，降价后约为GPT-4价格的1/400。

法医 2024-05-21

0 0 0

没人能顶得住寡姐的声音，包括 Sam Altman

OpenAI 昨日宣布停止在语音功能中提供“Sky”女声，原因是美国著名女演员与歌手 Scarlett Johansson（斯嘉丽·约翰逊，人称“寡姐”）向OpenAI发送了律师函，称对方在未取得授权的情况下，在大模型产品中使用了高度类似其声音的“Sky”女声。 https://x.c

贤蛋大眼萌 2024-05-21

0 0 0

OpenSSF 推出 Siren 共享列表，加强开源安全

开源安全基金会 (OpenSSF) 宣布推出一个名为 Siren 的威胁情报共享列表，旨在促进新的漏洞信息共享工作、加强全球开源项目的防御能力。OpenSSF Siren 是一项协作工作，旨在聚合和传播特定于开源项目的威胁情报。当今从 Web 服务器到移动应用程序，多达 90% 的现代软件都

泡泡 2024-05-21

0 0 0

文心大模型两大主力模型全面免费

百度智能云发文宣布，文心大模型两大主力模型全面免费，立即生效。分别为该公司于今年 3 月推出的两款轻量级大模型 ERNIE Speed 和 ERNIE Lite，支持 8K 和 128k 上下文长度。此轮价格战由日前字节推出的全网最低价豆包大模型掀起。豆包主力模型在企业市场的定价只有 0.0

张二河 2024-05-21

0 0 0

上海市经信委：将加快开源人形机器人原型机研发

5月18日，第五届上海创新创业青年50人论坛举行，上海市经信委主任张英在论坛上介绍了上海为发展新质生产力，在战略性新兴产业和未来产业的布局。她表示，上海市政府提出要加快建设“（2+2）+（3+6）+（4+5）”现代化产业体系，大力发展新质生产力。“2+2”是指促进先进制造业和现代服务业的两个融合

Escape 2024-05-21

0 0 0

月之暗面新一轮估值达 30 亿美金，继阿里后腾讯也入局

大模型公司月之暗面（Moonshot）的融资仍在持续进行中，最新一轮的估值报价已达30亿美金。有知情人透露，新入局的包括腾讯、高榕创投等机构。这也意味着，中国大模型创业公司已经踏入200亿人民币俱乐部。新一轮融资的开启意味着上一轮融资的完结。今年2月中旬，月之暗面新一轮超十亿美元融资堪称大模型创

爱可生开源社区 2024-05-21

0 0 0

Kmesh进入CNCF云原生全景图，实现网格治理sidecarless化

本文分享自华为云社区《Kmesh进入CNCF 云原生全景图》，作者：云容器大未来。近日，Kmesh 正式进入 CNCF 云原生全景图，位于 Service Mesh 类别下。 CNCF Landscape 在云原生实践过程中的每个环节帮助用户了解有哪些具体的软件和产品选择，Kmesh

向阳逐梦 2024-05-21

0 0 0

微软的新 PC 将是 “Copilot+PC”、性能比 MacBook Air M3 更强

美东时间5月20日周一，微软在位于华盛顿的新园区举行了Build 2024开发者大会。微软CEO Satya Nadella率先登台， Nadella称：“Copilot显然取得了很大进展，但它的转变还在初期阶段。尺度定律(scaling law)帮助我们在云端创造并提供非常强大的AI模型，但今天

法医 2024-05-21

0 0 0

新款 iPad Pro 使用了 12GB 内存颗粒，但却声称是 8GB 内存

知名拆解网站 iFixit 已经拆解了 2024 款 13 英寸苹果 iPad Pro 256GB 版，该版本搭载 9 核版 M4 芯片与 8GB 内存。拆解图显示，8GB 内存版 iPadPro 使用两颗丝印为“Z8DMS”的内存颗粒，通过查询美光官网获知颗粒型号为“MT62F768M64

三掌柜 2024-05-21

0 0 0

英国推出 Inspect AI 安全测试平台

一个多月前，英美政府签署合作备忘录，承诺共同努力推动 AI 安全的发展，并同意合作开发测试最先进的 AI 模型。10 日英国 AI 安全研究院（AI Safety Institute）宣布推出名为「Inspect」的一套深具里程碑意义的 AI 安全测试工具集。「Inspect」可说是在英国政府辖下机

宇宙之一粟 2024-05-21

0 0 0

马斯克宣布 Twitter 域名完全转移到 X.com

美国科技业亿万富豪马斯克（Elon Musk）17 日宣布，他买下并改名为 X 的知名社交媒体平台 Twitter，已完全转移到 X.com 域名。法新社报导，拥有电动车大厂特斯拉（Tesla）、太空探索科技公司（SpaceX）和其他若干企业的马斯克，2022 年底以 440 亿美元收购 Twitt

向阳逐梦 2024-05-21

0 0 0