一、引言随着自然语言处理（NLP）技术的快速发展，大语言模型（LLM）成为了研究和应用的热点。然而，搭建LLM服务通常需要高性能的GPU资源，这对于个人开发者和小型企业来说可能是一个挑战。本文旨在提供一种无需GPU的LLM服务搭建方案，并通过OpenAI的接口标准，使得开发者能够轻松集成和使用LLM
2024-03-05
如果您的每个系统运行九个或更多的GPU，梅萨24.1 下个季度发布的Vulkan API将提高每个系统8个DRM设备的限制，现在理论上每个系统允许256个GPU。 Mesa Vulkan运行时代码进行了支持8个DRM设备的硬编码限制。这个限制现在显然至少对一些利基用户来说已经达到了。Valve
2024-03-02
字节跳动联合北京大学的研究团队在 arXiv 上发表论文，介绍他们用于训练大语言模型的生产系统 MegaScale。该团队为 MegaScale 搭建了超过 10000 块 GPU（12,288）的单一集群，算力利用率超过 55%。 https://arxiv.org/pdf/2402
2024-03-01
随着AI的火爆，CPU 、TPU、GPU、DPU、QPU这些缩略词整天在各种媒体里面飞来飞去。本文主要解释这些处理器，以及他们的优缺点。CPU（中央处理器）CPU就像计算机的“大脑”。它能够处理计算机工作的所有基本任务，例如：运行程序、管理文件和执行基本计算。把它想象成一个人的大脑，确保你所有的能力
2024-02-28
从事开源Mesa OpenGL/Vulkan驱动程序代码的英特尔工程师目前使用模拟器重放捕获的错误状态/GPU挂起，但新的补丁建议允许重放实际硬件上的GPU挂起。反过来，这有望帮助英特尔驱动程序开发人员更好地解决一些实际问题。 本周发布了一个补丁，允许在实际的英特尔GPU硬件上使用捕获的上下文图像
2024-02-17
今天合并到主线LLVM的代码正在为跨GFX9、GFX10和GFX11 GPU系列的通用目标概念做准备。在后续工作中，这些通用目标的目标是允许编译代码一次，然后在给定硬件系列中的多个GPU上运行。 今天合并到AMDGPU LLVM后端的代码允许新的通用目标gfx9-通用(Vega)、gfx10.1-
2024-02-12
当今科学技术的飞速发展，社会已经迈入了信息时代的智能化阶段。人脸识别、智能客服、个性化推荐等应用已经深入到日常生活的各个方面。这些看得见的应用背后，是看不见的算力在默默地支撑着。在满足这些高算力需求的过程中，CPU 和 GPU 作为计算机的核心组件发挥着重要的承载作用。那么，CPU 和 GPU 到底
2024-02-03
去年AIGC大火，程序员都把注意力放在了最上层，而忽略了提供算力的最底层：GPU。不过这也正常，就像很少人直接针对CPU编程一样，直接针对GPU编程的人也不多。但是了解一下GPU编程，绝对大有好处。今天先聊聊GPU编程，然后再聊聊一个CUDA这个新的生态系统，对编程细节不感兴趣的可以直接拉到最后。对
2024-01-22
热糊、热化合物或热接口材料(TPM)有助于冷却您的CPU和GPU。如果你是一个游戏玩家，你必须意识到它的重要性。你需要确保它们没有干燥，并被彻底涂抹。这篇文章将展示如何将热粘贴应用到Windows计算机的CPU或GPU上。如何在CPU或GPU上应用热糊要将热粘贴应用于Windows计算机的CPU或G
2023-12-28
你有没有注意到你的显示器上有大的圆点和一些奇怪的条纹？好的，这种屏幕的失真被称为GPU伪装。在这篇文章中，我们将看到什么是GPU人工处理，它的测试和例子。什么是GPU人工处理？GPU真实感是由显卡产生的图像的失真。这可以是集成的，也可以是专用的。造成这种失真的最常见原因之一是GPU过热。如果没有适当
2023-12-25
近日，芯瞳半导体技术（山东）有限公司（以下简称“芯瞳”），签署openKylin社区CLA（Contributor License Agreement 贡献者许可协议），正式加入openKylin开源社区。 芯瞳（Sietium）成立于2019年，是一家自主设计研发GPU芯片及GPU解决方案的
2023-12-13
最近由Boris Brezillon在Collabora开发的是Panthor，这是一个新的直接渲染管理器(DRM)驱动程序，用于支持较新的ARM马里图形处理器。 Panthor用于支持实现ARM的V10 GPU架构的较新的马里GPU。其中一个主要关注点是新的命令流前端“csf”，它取代了以前的作
2023-12-09
继昨天的大型AMD人工智能活动之后，他们推出Instinct MI 300 A/MI 300 X和ROCm 6.0今天，AMD工程师发布了Radeon GPU Profiler 2.0以及其他GPUOpen工具更新。 Radeon GPU Profiler 2.0版本增加了对更多rDNA 3 GP
2023-12-09
Labs 导读在开发图形渲染应用时，渲染性能优化是一个绕不开的主题，开发者往往遵循一些优化准则来构建自己的应用程序，包括数据合并、模型减面、减少采样次数、减少不必要渲染等。本文结合现代GPU架构及逻辑管线执行，简单阐述这些性能优化背后的原理。Part 01、 现代GPU架构 早期GPU设计遵循硬
2023-11-18
随着SC23超级计算大会今天在丹佛拉开帷幕，英特尔刚刚解除了对一些披露的禁令。 英特尔没有宣布SC23的任何新产品，但正在谈论他们现有的一些CPU、GPU和AI产品，并继续调侃他们的下一代产品，强调他们出色的开源软件工作。 在英特尔新闻发布会上，英特尔简要介绍了仍在研发中的Aur
2023-11-16
译者 | 布加迪审校 | 重楼CuPy简介CuPy是一个Python库，与NumPy和SciPy数组兼容，为GPU加速计算而设计。通过将NumPy换成CuPy语法，您可以在英伟达CUDA或AMD ROCm平台上运行代码。这让您可以使用GPU加速执行与数组相关的任务，从而更快地处理更庞大的数组。只需换
2023-11-07
您是否在Premiere Pro或After Effects中遇到此效果需要GPU加速错误消息？一些用户报告说，他们在为剪辑添加效果时不断收到此错误提示。如果你也面临同样的错误，这篇文章将帮助你解决它。 此效果需要在After Effects或Premiere Pro中加速GPU[修复] 如果您
2023-11-04
而最初的AMD Navi GPU 下一代几何 （NGG）支持， 它被一些GPU借用了 并且最初在顶点和几何图形处理方面并没有达到计划的效果。Mesa Radeon Vulkan驱动程序“RADV”已在 NGG代码 多年来，有了RDNA3 GPU，它终于从一开始就运行得很好，比他们的传统管
2023-10-31
Ubuntu桌面开发人员Daniel Van Vugt一直致力于在GNOME的Mutter合成器中为离散GPU提供零拷贝支持，以提供更快的性能。到目前为止，这似乎与Nouveau开源NVIDIA驱动程序一起工作。 当在Wayland下运行时，Van Vugt一直专注于改进GNOME中的辅助GPU
2023-10-27
以最近发布的 OSPRay 3.0 有了最初的GPU加速支持，OSPRay Studio现在已经针对这个新版本进行了更新。作为提醒，OSPRay Studio是英特尔的开源交互式可视化和光线跟踪应用程序。 OSPRay Studio是英特尔的Apache 2.0授权软件，提供了一个围绕OSP
2023-10-26