它为ChatGPT等多种LLM提供了一个轻快好用的Web图形界面和众多附加功能。开箱即用，支持 GPT-4，基于文件问答，LLM本地部署，联网搜索，Agent 助理等，此外还支持 Fine-tune（微调）。如果你是前段前端开发者，千万不要错过。✨模型支持调用模型支持：ChatGPT（GPT-4）、
2023-12-06
译者 | 布加迪审校 | 重楼微服务架构便于创建边界明确定义的灵活独立服务。这种可扩展的方法使开发人员能够在不影响整个应用程序的情况下单独维护和完善服务。然而，若要充分发挥微服务架构的潜力、特别是针对基于人工智能的聊天应用程序，需要与最新的大语言模型（LLM，比如Meta LLama V2和Open
2023-11-10
LLM 洪流滚滚，AI 浪潮席卷全球，在这不断冲击行业认知的一年中，Agent 以冉冉新星之态引起开发者侧目。OpenAI 科学家 Andrej Karpathy 曾言“OpenAI 在大模型领域快人一步，但在 Agent 领域，却是和大家处在同一起跑线上。” 在此背景下，AI 从业者坚信：基于
2023-11-07
vLLM 是一个快速且易于使用的 LLM 推理和服务库。 vLLM 的速度很快： 最先进的服务吞吐量 使用 PagedAttention 高效管理 attention key 和 value memory 连续批处理传入请求 优化的 CUDA 内核 vLLM
2023-11-03
【源创会预告】1024 程序员节（的前两天），相约开源中国办公室，我们一起聊 AI！>>> 英伟达发布了 Windows 版本的 TensorR
2023-10-18
LLM 技术图谱 (LLM Tech Map) 是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。 核心价值：帮助技术人快速了解 LLM 的核心技术和关键方向。
2023-10-12
引言 调研、整理智能体相关知识，希望帮大家构建智能体的概貌 大模型智能体 LLM Agent （1）LLM 1981年希拉里·普特南在《理性，真理与历史》一书中提出假想，“缸中之脑”： 一个科学家实施了这样一个手术: 把大脑切下来，放进一个充满营养液的缸中，可以维持大脑正常运转。
2023-09-28
⭐前言 自从OpenAI掀起了一轮新的AI革命，国内外众多玩家入场接受时代洗礼，一时间LLM相关技术井喷，而提示工程( prompt engineering )就在其中。 它就像是为大语言模型（LLM）设计的"语言游戏"。通过这个"游戏"，我们可以更有效地引导 LLM 来处理问题。在真正的通用智能到
2023-09-02
背景 在当下开源大语言模型火热的背景下，有很大一部分开发者希望本地部署开源 LLM ，用于研究 LLM 或者是基于开源 LLM 构建自己的 LLM 应用。笔者也正在尝试通过开源社区的一系列相关优秀项目，通过本地化部署服务来构建自己的 LLM 应用。那么本地部署一个开源 LLM 来构建一个聊天应用需要
2023-09-02
译者 | 布加迪审校 | 重楼当您浏览Twitter、LinkedIn或新闻源上的时间轴时，可能会看到一些关于聊天机器人、LLM和GPT的内容。因为每周都有新的LLM发布，很多人都在谈论LLM。我们目前置身于一场人工智能革命，许多新应用都依赖于向量嵌入。不妨让我们更多地了解向量数据库以及为什么它们对
2023-08-30
ChatGPT、GPT-4 等的发布，让我们在见识到大模型（LLM）的魅力后，伴随而来的是其所面临的各种挑战。如何让 LLM 变得更好？面对大模型，到底有哪些需要解决的问题？成为 AI 领域重要的研究课题。本文，计算机科学家 Chip Huyen 从 10 个方面入手，全面阐述 LLM 面临的挑战。
2023-08-27
本文整理自 NebulaGraph 布道师 wey 在「夜谈 LLM」主题分享上的演讲，主要包括以下内容： 背景 LLM RAG Graph 知识抽取 Text2Cypher Graph RAG 未来规划 技术背景 LLM 是什么 这里简单、快速地介绍下大语言模型：从 GPT-2 开始，到
2023-08-16
原以为 LLM 很难，但其实可以很简单，比如 Flowise 拖拽拖拽就能出来一个 LLM 流程，非常简单你的 LLM 就可以 run 起来了。同样的 web-check 也能极快速地帮你解决 Web 安全那些事，什么 DNS、Cookie 的安全问题不在话下，非常简单，一个仪表盘就看得一清二楚。更
2023-08-14
OWASP 是一家专门列举十大软件安全漏洞而闻名世界的机构，它今天发布了新的十大安全漏洞列表的 1.0 版，专门针对与大型语言模型 (LLM) 应用程序相关的风险。“2022 年底，人们对大型语言模型 (LLM) 对大众市场预训练聊天机器人的狂热兴趣非常引人注目。企业渴望利用LLM的潜力，正在迅速将
2023-08-12
由于当前先进的LLM采用了顺序解码方式，即一次生成一个词语或短语。然而，这种顺序解码可能花费较长生成时间，特别是在处理复杂任务时，会增加系统的延迟。受人类思考和写作过程的启发，来自清华微软的研究人员提出了「思维骨架」（SoT），以减少大模型的端到端的生成延迟。图片论文地址：https://arxiv
2023-08-10
最近的一个大新闻是Meta AI推出了新的开源授权的大型语言模型Llama 2。这是一项非常重要的进展：Llama 2可免费用于研究和商业用途。(几小时前，swyy发现它已从LLaMA 2更名为Llama 2）。Facebook最初的LLaMA模型于今年2月发布，掀起了开源LLM领域的创新浪潮——从
2023-08-09
本篇内容介绍了“gpt4在国内怎么使用”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！方法1：使用Ora.sh的LLM应用Ora.sh是一个网络平台，允许用户使用聊天界面创建和运行LLM应用，LLM代表
2023-08-02
伴随大语言模型（LLM，Large Language Model）的涌现，人们发现生成式人工智能在非常多领域具有重要意义，如图像生成，书写文稿，信息搜索等。随着 LLM 场景的多样化，大家希望 LLM 能在垂直领域发挥其强大的功能。但是由于大模型在特定领域数据集的训练和时效性限制，在 LLM 的基础
2023-07-25
GPT-4 是 OpenAI 最新发布的大型语言模型。 它的多模性质使其有别于所有先前引入的 LLM。 GPT 的 transformer 架构是著名的 ChatGPT 背后的技术，使其能够通过超好的自然语言理解来模仿人类。 GPT-4 在解决生成详细而精确的图像描述、解释不寻常的视觉现象、使用手写
2023-07-21
OpenAI 在 GPT-3.5 模型下进行一系列进行微调，在 2022 年初完成训练，年末进一步推出的 ChatGPT 模型引发热议，带动全球关注AI 热潮。而亚马逊新开发的大型语言模型 Large Language Models，LLM，宣称只用 10 亿个参数建立模型，准确率比起最先进的GPT
2023-07-21