谷歌已将向量搜索引入其 MySQL 数据库服务，这一步领先了 MySQL 的所属公司 Oracle，迄今为止，Oracle 尚未给 MySQL 添加任何大型语言模型（LLM）方面的功能。 谷歌云数据库副总裁安迪·古特曼斯 (Andi Gutmans) 表示，在过去 12 年里，谷歌在向量方面的创新速度相当快。目前，在多个 Google Cloud 数据库中提供向量搜索预览版，包括 Cloud SQ

译者 | 朱先忠 审校 | 重楼 引言 我不得不承认，我最初对大型语言模型（LLM）生成实际有效的代码片段的能力持怀疑态度。我抱着最坏的打算尝试了一下，结果我感到很惊喜。就像与聊天机器人的任何互动一样，问题的格式很重要；但随着时间的推移，你会知道如何指定你需要帮助的问题的边界。 当我的老板发布了一项全公司范围的政策——禁止员工使用在线聊天机器人服务时，我已经习惯了在编写代码时始终可以使用这类服务。

背景介绍 在当今的企业环境下，很多的公司都在落地大模型相关的应用。但是并不是每个公司都具备相应的专业大模型的人才，能够很好的处理大模型落地过程中碰到的问题。 今天要给大家推荐一个 GitHub 开源项目 llmware-ai/llmware，该项目在 GitHub 有超过 1.6k Star，用一句话介绍该项目就是：“Providing enterprise-grade LLM-based dev

编译 | 言征   出品 | 51CTO技术栈（微信号：blog51cto） 生成式人工智能是否会取代人类程序员？ 可能不会。但使用生成式人工智能的人类可能会，可惜的是，现在还不是时候。 目前，我们正在见证LLM领域的激烈竞争。仅仅是谷歌的生成式人工智能产品就已经变得非常丰富——其最新的开放模型Gemma就是LLM快速缩小的最新例证（是时候称它们为小型语言模型了吗？）。 对于DevOps社区来说，

在上一年里，已经有不少的企业在工具链上落地了生成式 AI，结合我们对于这些企业的分析，以及最近在国内的一些 “新技术” 趋势，诸如于鸿蒙原生应用的初步兴起。从这些案例与趋势中，我们也看到了一些新的可能方向。 结合我们在 LLM as-Copilot，LLM as-Integrator，LLM as-Facilitator 的三阶段框架，以及我们内部的分析材料，我大体将其总结为 6 个趋势： 从单角

一、引言 随着自然语言处理（NLP）技术的快速发展，大语言模型（LLM）成为了研究和应用的热点。然而，搭建LLM服务通常需要高性能的GPU资源，这对于个人开发者和小型企业来说可能是一个挑战。本文旨在提供一种无需GPU的LLM服务搭建方案，并通过OpenAI的接口标准，使得开发者能够轻松集成和使用LLM功能。 二、LLM服务搭建 1.选择合适的LLM模型 首先，我们需要选择一个适合本地运行的LLM模

欢迎阅读 OSCHINA 编辑部出品的开源日报，每天更新一期。 # 2024.2.29 今日要点 OpenSource Daily 阿里发布肖像视频生成框架 EMO 来自阿里巴巴的团队发布了音频驱动的肖像视频生成框架 EMO（Emote Portrait Alive），相关论文同步发表于 arXiv。输入一张参考图像和声音音频，该框架能够生成具有丰富面部表情和头部姿势的声音肖像视频。  字节跳动打

本文通过实证分析展示了实际LLM模型的FLOPS分配情况，并与理论分析进行对比。通过理论和实证相结合的方式，本文为理解和优化语言大模型的性能提供了有益见解。   作者Finbarr Timbers是一名机器学习研究员，曾就职于DeepMind。（以下内容由OneFlow编译发布，转载请联系授权。原文：https://www.artfintel.com/p/where-do-llms-spend-t

最新越发觉得AI的发展，对未来是一场革命，LangChain已经在工程设计上有了最佳实践，类似于AI时代的编程模型或编程框架，有点Spring框架的意思。之前在LangChain上也有些最佳实践，所以在这里分享记录下。 LangChain解决什么问题 LangChain是基于LLM之上的，在应用层和底层LLM之前的一个很好的编程框架，如果把LLM比喻为各种类型的数据库、中间件等这些基础设施，应用层

LangChain 是用于构建 LLM 应用的开源工具，近日其开发商宣布完成了由红杉资本领投的 2500 万美元 A 轮融资，并正式推出首款付费 LLMOps 产品 LangSmith。 https://twitter.com/LangChainAI/status/1758169569364230542 LangSmith 旨在成为一站式 LLM 应用开发平台，让开发者能够加速他们的 LLM 应用

自从ChatGPT公开发布以来，人们几乎没有一天不讨论LLM（大型语言模型）、RAG（检索增强生成：Retrieval Augmented Generation）和向量数据库的新内容。技术世界充斥着LLM的可能性，LLM被视为将改变我们生活的最新技术：对一些人来说是最好的，对另一些人来说则是最坏的。除此之外，检索增强生成（RAG）已经成为一种动态解决方案，以适应不断变化的知识环境。但是，在幕后还有

1. TensorRT-LLM 编译模型 1.1 TensorRT-LLM 简介 使用 TensorRT 时，通常需要将模型转换为 ONNX 格式，再将 ONNX 转换为 TensorRT 格式，然后在 TensorRT、Triton Server 中进行推理。 但这个转换过程并不简单，经常会遇到各种报错，需要对模型结构、平台算子有一定的掌握，具备转换和调试能力。而 TensorRT-LLM 的目

作者：顾静 TensorRT-LLM 如何提升 LLM 模型推理效率 大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型。底层转换器是一组神经网络，这些神经网络由具有 self-attention 的编码器和解码器组成。编码器和解码器从一系列文本中提取含义，并理解其中的单词和短语之间的关系。 当前 LLM 模型推理的主要瓶颈是 GPU 显

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 背景 随着LLM（Large Language Model）的不断发展，向量检索也逐渐成为关注的焦点。LLM通过处理大量的文本数据，获取丰富的语义信息，从而能够更好地理解和生成自然语言。然而，LLM的输出通常是一系列概率分布，这使得检索过程变得复杂。向量检索作为一种有效的检索方法，它将LLM的输出转化为向量表示，

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 随着LLM技术应用及落地，数据库需要提高向量分析以及AI支持能力，向量数据库及向量检索等能力“异军突起”，迎来业界持续不断关注。简单来说，向量检索技术以及向量数据库能为 LLM 提供外置的记忆单元，通过提供与问题及历史答案相关联的内容，协助 LLM 返回更准确的答案。 不仅仅是LLM，向量检索与OLAP引擎也早有

《2023 中国开源开发者报告》正式发布。 此报告由开源中国与 Gitee 发布，整体分为三章，分别是： 第一章《开源开发者事件回顾》 第二章《2023 LLM 技术报告》 第三章《<Gitee × OSS Compass> Insight：中国开发者开源新动向》   毫无疑问，开源开发者圈子来看，2023 年是大模型 LLM 年、生成式 AI GenAI 年。 LLM 领域大放异彩，

导读：各位，2024年将是LLM之年，所有的应用程序都要加入AI与LLM。有激情的你准备好了吗？ 各位开发者，各位朋友，可以预见的是——在应用程序开发中使用大型语言模型（LLM）将是2024年技术的最大趋势之一。 从2023年开始，很多公司通过其 API 连接使用 OpenAI 的专有AI模型。但是，到 2023 年底，有大量不同的 LLM 已经可供人们选择，其中有的开源LLM，开发者可以直接访问

为了发展自家生成式 AI，苹果一直在测试大型语言模型 LLM，但苹果同时要思考的是，要如何将 LLM 塞进手机与笔记本电脑。现在有消息称，LLM 对 CPU 与记忆体资源负载太重，苹果正尝试将 LLM 放在 NAND 闪存，以实现多设备轻松存取目标。 一般情况下 LLM 需要 AI 加速器与较高 DRAM 容量。《TechPowerUp》报导，苹果努力将 LLM 技术导入到内存容量有限的设备。苹果

Prompt flow 是一套开发工具，旨在简化基于 LLM 的人工智能应用程序的端到端开发周期，从构思、原型设计、测试、评估到生产部署和监控。它使即时工程变得更加容易，并使你能够构建具有生产质量的 LLM 应用程序。 通过该项目，你将能够： 创建将 LLM、提示、Python 代码和其他工具链接在一起的可执行工作流程。 轻松调试和迭代你的流程，尤其是与 LLM 的交互。 使用更大的数据集评估流程

美国普渡大学（Purdue University）的研究人员发布了，一篇名为《Make Them Spill the Beans! Coercive Knowledge Extraction from (Production) LLMs》的论文。描述了他们通过利用大模型厂商倾向于公开与提示响应相关的概率数据的特点，设计出了一种可以打破现有 LLM 规则，使其给出“有害”回答的新颖方法。 研究人员使