易迟的博客 | Bryan Blog

一款纯 js 实现的大模型应用服务 FastGPT 解读

Interpretation of FastGPT, a large model application service implemented in pure js

背景介绍最近被不同的人安利了 FastGPT 项目，实际上手体验了一下，使用流程类似之前调研过的 Dify, 包含的功能主要是：任务流的编排，知识库管理，另外还有一些外部工具的调用能力。使用页面如下所示：实际去看了下项目的代码分布，结果发现如下所示：难道后端 Python 只需要如此少的代码量就可以实现一个大模型应用了？深入了解了 FastGPT 的实现，发现其 Pytho...

Posted by Bryan on July 4, 2024

Github 上 Star 数最多的大模型应用基础服务 Dify 深度解读（一）

Dify source code analysis of the large model application basic service with the largest number of stars on Github (1)

背景介绍接触过大模型应用开发的研发同学应该都或多或少地听过 Dify 这个大模型应用基础服务，这个项目自从 2023 年上线以来，截止目前（2024-6）已经获得了 35k 多的 star，是目前大模型应用基础服务中最热门的项目之一。这篇文章对 Dify 中核心的基础模块 RAG 服务进行深入解读，后续可能会更新其他模块的内容。 Dify 简介 Dify 是一个 LLMOps 服务, ...

Posted by Bryan on June 30, 2024

来自工业界的知识库 RAG 服务(五)，模块化知识库 GoMate 实现方案详解

RAG services from industry (5), detailed explanation of modular knowledge base GoMate implementation plan

背景介绍很早以前就看过一篇介绍 RAG 的综述性文章 Retrieval-Augmented Generation for Large Language Models: A Survey, 其中介绍了 RAG 的模块化架构：但是一直没有看到对应的实现方案，以前也没有理解此框架的优势之处。随着在相关领域的持续实践，逐渐理解到模块化 RAG 的优势。模块化 RAG 可以方便地进行服务的...

Posted by Bryan on June 24, 2024

从 0 打造私有知识库 RAG Benchmark 完整实践

The practical process of building a private RAG Benchmark from scratch

背景介绍最近从 0 构建了一个大模型知识库 RAG 服务的自动化 Benchmark 评估服务，可以基于私有知识库对 RAG 服务进行批量自动化测试与评估。本文是对这个过程的详细记录。本文实际构建的是医疗行业知识库，基于高质量的医学指南和专家共识进行构建。而实际的问答对也基础知识库已有文档生成，避免参考源不存在导致的大模型幻觉，可以更加客观反映 RAG 服务的能力。当然整体的构建流程...

Posted by Bryan on June 19, 2024

来自工业界的知识库 RAG 服务(四)，FinGLM 竞赛冠军项目详解

Knowledge base RAG service from the industry (4), detailed explanation of the FinGLM competition championship project

背景介绍在前一篇文章中介绍过智谱组织的一个金融大模型 RAG 比赛 FinGLM 以及 ChatGLM反卷总局团队的项目，这篇文章继续介绍下获得冠军的馒头科技的技术方案。建议不了解比赛背景信息的可以先查看来自工业界的知识库 RAG 服务(三)，FinGLM 竞赛获奖项目详解，方便更好地理解技术方案的设计。项目方案详解方案设计项目设计的整体流程如下所示：从当前...

Posted by Bryan on June 17, 2024

来自工业界的知识库 RAG 服务(三)，FinGLM 竞赛获奖项目详解

Knowledge base RAG service from the industry (3), detailed explanation of the winning projects of the FinGLM competition

背景介绍前面介绍过工业界的 RAG 服务 QAnything 和 RagFlow 的详细设计，也介绍过来自学术界的一些优化手段。前一阵子刚好看到智谱组织的一个金融大模型比赛 FinGLM，主要做就是 RAG 服务的竞赛，深入研究了其中的几个获奖作品，感觉还是有不少亮点。整理一些获奖项目的设计方案，希望对大家有所启发。 FinGLM 比赛 FinGLM 比赛介绍 FinGLM...

Posted by Bryan on June 5, 2024

来自学术界的知识库 RAG 调优方案实践（一）

RAG tuning solution practice from academia (1)

背景介绍在之前的文章详细梳理过工业界的 RAG 方案 QAnything 和 RagFlow，这次主要整理下来自学术界的一系列 RAG 优化方案。主要关注优化方案对应的设计思想以及相关的实现，希望可以对大家的 RAG 服务效果提升有所帮助。基础介绍在综述论文 Retrieval-Augmented Generation for Large Language Models: A ...

Posted by Bryan on May 27, 2024

从《红楼梦》的视角看大模型知识库 RAG 服务的 Rerank 调优

Rerank tuning of RAG service in large model knowledge base from the perspective of 'Dream of Red Mansions'

背景介绍在之前的文章有道 QAnything 源码解读中介绍了有道 RAG 的一个主要亮点在于对 Rerank 机制的重视。从目前来看，Rerank 确实逐渐成为 RAG 的一个重要模块，在这篇文章中就希望能讲清楚为什么 RAG 服务需要 Rerank 机制，以及如何选择最合适的 Rerank 模型。最终以完整的《红楼梦》知识库进行实践。至于为什么要用红楼梦，答案就是作为读了很...

Posted by Bryan on May 22, 2024

来自工业界的知识库 RAG 服务(二)，RagFlow 源码全流程深度解析

Knowledge base RAG service from the industry (2), in-depth analysis of the entire RagFlow source code process

背景介绍前面介绍过有道 QAnything 源码解析，通过深入了解工业界的知识库 RAG 服务，得到了不少调优 RAG 服务的新想法。因此本次趁热打铁，额外花费一点时间，深入研究了另一个火热的开源 RAG 服务 RagFlow 的完整实现流程，希望同样有所收获。项目概述框架设计首先依旧可以先从框架图入手，与常规的 RAG 架构进行一些比较可以看到右侧知识库被明显...

Posted by Bryan on May 15, 2024

来自工业界的 RAG 服务，有道 QAnything 源码全流程深度解析

RAG service from the industry, Youdao QAnything source code in-depth analysis of the entire process

背景介绍之前在做大模型知识库 RAG 优化时，主要参考的都是学术界的论文。最近了解到有道 QAnything 开源了，在线试用之后，效果看起来还不错，燃起了探索其实现细节的兴趣。正好对于 RAG 各个环节的最佳实践存在一些疑问，因此深入查看了有道 QAnything 的完整实现流程，学习下来自工业界大厂有道的实践方案，在这边分享给大家。本文章基于的是 2024-5 月最新的版本 ...

Posted by Bryan on May 10, 2024

Bryan Blog