谷歌已将向量搜索引入其 MySQL 数据库服务，这一步领先了 MySQL 的所属公司 Oracle，迄今为止，Oracle 尚未给 MySQL 添加任何大型语言模型（LLM）方面的功能。 谷歌云数据库副总裁安迪·古特曼斯 (Andi Gutmans) 表示，在过去 12 年里，谷歌在向量方面的创新速
2024-03-12
译者 | 朱先忠审校 | 重楼引言我不得不承认，我最初对大型语言模型（LLM）生成实际有效的代码片段的能力持怀疑态度。我抱着最坏的打算尝试了一下，结果我感到很惊喜。就像与聊天机器人的任何互动一样，问题的格式很重要；但随着时间的推移，你会知道如何指定你需要帮助的问题的边界。当我的老板发布了一项全公司范
2024-03-12
背景介绍在当今的企业环境下，很多的公司都在落地大模型相关的应用。但是并不是每个公司都具备相应的专业大模型的人才，能够很好的处理大模型落地过程中碰到的问题。今天要给大家推荐一个 GitHub 开源项目 llmware-ai/llmware，该项目在 GitHub 有超过 1.6k Star，用一句话介
2024-03-11
编译 | 言征 出品 | 51CTO技术栈（微信号：blog51cto）生成式人工智能是否会取代人类程序员？可能不会。但使用生成式人工智能的人类可能会，可惜的是，现在还不是时候。目前，我们正在见证LLM领域的激烈竞争。仅仅是谷歌的生成式人工智能产品就已经变得非常丰富——其最新的开放模型Gemma就
2024-03-06
在上一年里，已经有不少的企业在工具链上落地了生成式 AI，结合我们对于这些企业的分析，以及最近在国内的一些 “新技术” 趋势，诸如于鸿蒙原生应用的初步兴起。从这些案例与趋势中，我们也看到了一些新的可能方向。结合我们在 LLM as-Copilot，LLM as-Integrator，LLM as-F
2024-03-05
一、引言随着自然语言处理（NLP）技术的快速发展，大语言模型（LLM）成为了研究和应用的热点。然而，搭建LLM服务通常需要高性能的GPU资源，这对于个人开发者和小型企业来说可能是一个挑战。本文旨在提供一种无需GPU的LLM服务搭建方案，并通过OpenAI的接口标准，使得开发者能够轻松集成和使用LLM
2024-03-05
欢迎阅读 OSCHINA 编辑部出品的开源日报，每天更新一期。 # 2024.2.29 今日要点 OpenSource Daily 阿里发布肖像视频生成框架 EMO 来自阿里巴巴的团队发布了音频驱动的肖像视频生成框架 EMO（Emote Portrait Alive），相关论文同步发表于
2024-03-02
本文通过实证分析展示了实际LLM模型的FLOPS分配情况，并与理论分析进行对比。通过理论和实证相结合的方式，本文为理解和优化语言大模型的性能提供了有益见解。 作者Finbarr Timbers是一名机器学习研究员，曾就职于DeepMind。（以下内容由OneFlow编译发布，转载请联系授
2024-02-29
最新越发觉得AI的发展，对未来是一场革命，LangChain已经在工程设计上有了最佳实践，类似于AI时代的编程模型或编程框架，有点Spring框架的意思。之前在LangChain上也有些最佳实践，所以在这里分享记录下。 La
2024-02-27
LangChain 是用于构建 LLM 应用的开源工具，近日其开发商宣布完成了由红杉资本领投的 2500 万美元 A 轮融资，并正式推出首款付费 LLMOps 产品 LangSmith。 https://twitter.com/LangChainAI/status/1758169569364
2024-02-19
自从ChatGPT公开发布以来，人们几乎没有一天不讨论LLM（大型语言模型）、RAG（检索增强生成：Retrieval Augmented Generation）和向量数据库的新内容。技术世界充斥着LLM的可能性，LLM被视为将改变我们生活的最新技术：对一些人来说是最好的，对另一些人来说则是最坏的。
2024-02-14
1. TensorRT-LLM 编译模型1.1 TensorRT-LLM 简介使用 TensorRT 时，通常需要将模型转换为 ONNX 格式，再将 ONNX 转换为 TensorRT 格式，然后在 TensorRT、Triton Server 中进行推理。但这个转换过程并不简单，经常会遇到各种报错
2024-02-04
作者：顾静 TensorRT-LLM 如何提升 LLM 模型推理效率 大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型。底层转换器是一组神经网络，这些神经网络由具有 self-attention 的编码器和解码器组成。编码器和解码器从一系
2024-01-24
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 背景 随着LLM（Large Language Model）的不断发展，向量检索也逐渐成为关注的焦点。LLM通过处理大量的文本数据，获取丰富的语义信息，从而能够更好地理解和生成自然语言。然而，LLM的输出通常是一
2024-01-23
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 随着LLM技术应用及落地，数据库需要提高向量分析以及AI支持能力，向量数据库及向量检索等能力“异军突起”，迎来业界持续不断关注。简单来说，向量检索技术以及向量数据库能为 LLM 提供外置的记忆单元，通过提供与问题
2024-01-10
《2023 中国开源开发者报告》正式发布。 此报告由开源中国与 Gitee 发布，整体分为三章，分别是： 第一章《开源开发者事件回顾》 第二章《2023 LLM 技术报告》 第三章《<Gitee × OSS Compass> Insight：中国开发者开源
2023-12-29
导读：各位，2024年将是LLM之年，所有的应用程序都要加入AI与LLM。有激情的你准备好了吗？各位开发者，各位朋友，可以预见的是——在应用程序开发中使用大型语言模型（LLM）将是2024年技术的最大趋势之一。从2023年开始，很多公司通过其 API 连接使用 OpenAI 的专有AI模型。但是，到
2023-12-27
为了发展自家生成式 AI，苹果一直在测试大型语言模型 LLM，但苹果同时要思考的是，要如何将 LLM 塞进手机与笔记本电脑。现在有消息称，LLM 对 CPU 与记忆体资源负载太重，苹果正尝试将 LLM 放在 NAND 闪存，以实现多设备轻松存取目标。一般情况下 LLM 需要 AI 加速器与较高 DR
2023-12-23
Prompt flow 是一套开发工具，旨在简化基于 LLM 的人工智能应用程序的端到端开发周期，从构思、原型设计、测试、评估到生产部署和监控。它使即时工程变得更加容易，并使你能够构建具有生产质量的 LLM 应用程序。 通过该项目，你将能够： 创建将 LLM、提示、Python 代
2023-12-17
美国普渡大学（Purdue University）的研究人员发布了，一篇名为《Make Them Spill the Beans! Coercive Knowledge Extraction from (Production) LLMs》的论文。描述了他们通过利用大模型厂商倾向于公开与提示响应相关的
2023-12-13