易迟的博客 | Bryan Blog

你的大模型应用表现真的好吗？借助 Dify + Langfuse 一探究竟

Is your large model application really performing well? Find out with Dify + Langfuse

背景介绍众所周知，大模型应用的输出存在着一些不确定性，往往需要迭代多轮才能得到较为稳定的输出结果，因此开发者往往需要关注大模型应用的实际表现，并进行有针对性的优化。然而常规 Web 服务的监控机制往往无法满足大模型应用的监控需求，因为大模型应用往往关注的不仅仅是响应延迟、吞吐量等基础指标，而是需要关注大模型应用输出的语义正确性。因此，本文将介绍如何借助 Dify 和 Langfuse ...

Posted by Bryan on September 14, 2024

给大模型加上记忆，深入探索 Mem0 项目

Adding memory to large models, exploring the Mem0 project

背景介绍在之前的软件应用中，我们总会在应用中保留大量的用户历史操作记录，方便用户下次使用时可以快速查看和复用，甚至基于这些用户记录可以为用户提供个性化的服务。而这些记录往往都保存在传统的结构化或非结构化数据库中。在大模型的应用，特别是助手类的大模型应用中，我们往往需要处理大量语义化的文本或多模态的信息，方便后续快速匹配，从而提供个性化的服务。为了支持这种语义检索的需求，往往会将数据保...

Posted by Bryan on September 3, 2024

来自工业界的知识库 RAG（六），独特的 RAG 框架 dsRAG 核心亮点解读

RAG services from industry (6)，an Interpretation of the Core Highlights of the RAG Framework dsRAG

背景介绍在前面介绍了较多的开源 RAG 框架，比如主打 Rerank 的 QAnything, 主打精细文件解析的 RagFlow, 主打模块化灵活组合的 GoMate。这些库的设计除了少量的独特之处外，相似的部分很多。最近有注意到一款另类的 RAG 框架 dsRAG，使用了较多独特的 RAG 优化方案，因此花了一些时间对其核心亮点进行了考察，整理相关内容在这边。核心亮点官方对 ...

Posted by Bryan on August 28, 2024

深入源码，洞察迭代 8 年的 html 文本转换库

Dive into the source code and gain insights into the html text conversion library that has been iterating for 8 years

背景介绍在前面 RAG 项目结构化文件解析方案比较文章中对常见的 html 解析方案进行了比较，发现 html_text + python-readability 可以实现高质量的 html 内容提取。在前一篇文章迭代 14 年的高质量 html 提取方案中对 python-readability 库进行了介绍，这篇文章就对剩下的 html_text 库进行介绍。 html_t...

Posted by Bryan on August 25, 2024

深入源码，洞察迭代 14 年的高质量 html 提取方案

Go deep into the source code and gain insight into the high-quality HTML extraction solution that has been iterated for 14 years

背景介绍在大模型时代，开源项目的生命周期被加速了，往往迭代速度很快，但是热门项目也容易突然就无疾而终了。最近看到一款历经 14 年的开源 html 内容提取项目 python-readability，从最早建立到目前，已经迭代了 14 年。本文是在实际项目中使用 python-readability 之后，发现一些异常 case，因此深入源码了解其中的技术细节，因此在本文中对这款...

Posted by Bryan on August 24, 2024

Dify框架增强：知识库检索能力提升探索与实践

Enhancement of Dify framework: exploration and practice of improving the retrieval ability of knowledge base

背景介绍在之前的文章来自工业界的开源知识库 RAG 项目最全细节对比中介绍过，现有 RAG 开源项目中，Dify 的生态良好，但是一个明显的短板就是 RAG 检索能力偏弱。因此一直期望能补全这个短板，从而让 Dify 能真正好用起来。在基于开源项目二次开发建议方案探索了 Dify 的增强策略。实际选择了文章中提到的中策，基于模块化增强 Dify。做出这个选择的主要原因如下： ...

Posted by Bryan on August 14, 2024

深入 Dify 源码，洞察 Dify RAG 切片机制实现细节

Go deep into the Dify source code and gain insight into the implementation details of the Dify RAG slicing mechanism

背景介绍最近测试时发现 Dify 的 RAG 分片效果一般，不管是使用之前深入 Dify 源码，洞察 Dify RAG 核心机制中有调研过的默认解析还是 Unstructured 解析。因此调研比较了大量的开源框架实现了特定格式的结构化解析方案，并与 Dify 现有解析流程进行了适配。为了保证文件的解析能真正发挥出效果，需要保证预处理中其他环节也遵循前面的结构化方案进行处理，...

Posted by Bryan on August 6, 2024

来自工业界的开源知识库 RAG 项目结构化文件解析方案比较

Comparison of structured file parsing solutions from open source RAG projects in the industry

背景介绍在过去实践 RAG 的过程中，深刻体会到 RAGFlow 提出的 "Quality in, quality out", 只有高质量的文件处理才能获得良好的 RAG 效果。 RAG 的第一步是对文件进行解析，由于 Embedding 和 LLM 模型的长度限制，往往需要将解析后的文件进行切片。原始的 RAG 就是直接按照固定长度对文件进行切分，导致最终检索到的内容都是碎片化的，效果...

Posted by Bryan on July 31, 2024

深入 Dify 源码，洞察 Dify RAG 默认机制

Dive into the Dify source code and gain insight into the Dify RAG default mechanism

背景介绍之前深入源码对 Dify 的完整流程进行了解读，基本上梳理了 Dify 的实现流程与主要组件。但是在实际部署之后，发现 Dify 现有的 RAG 检索效果没有那么理想。因此个人结合前端页面，配置信息与实现流程，深入查看了私有化部署的 Dify 的技术细节。将核心内容整理在这边，方便大家根据实际的业务场景调整 Dify 知识库的配置，或者根据需要进行二次开发调优。技...

Posted by Bryan on July 17, 2024

深入 Dify 源码，定位知识库检索的大模型调用异常

Go deep into the Dify source code and locate large model call anomalies in knowledge base retrieval

背景介绍之前在 GPU 服务器上部署了 Dify 服务，使用的是 Dify 与 Xinference 组合，Xinference 部署的大模型是 THUDM/glm-4-9b-chat。基于本地部署的服务构建了知识库，并利用首页提供的任务流模板创建了一个 RAG 工作流实际运行此应用聊天时发现，知识库检索节点执行时会报错 GPT3.5 模型不存在，除了错误信息以外没有其他额...

Posted by Bryan on July 14, 2024

Bryan Blog