RAG 是什么

Retrieval -> Augmentation -> Generation

检索 -> 增强 -> 生成

RAG 全称是“Retrieval-Augmented Generation”,即 “检索增强的生成”。是一种结合了检索和生成的技术,用于增强语言模型的能力。RAG 的核心思想是利用外部知识库或数据集来辅助模型的生成过程。它通过以下两个步骤来生成更准确和相关的回答:

  1. 检索:从外部知识库或文档中检索与输入问题相关的信息。
  2. 生成:利用检索到的信息,生成更精确和上下文相关的回答。

通俗地讲,就是用户问 AI 一个问题,然后 AI 马上去知识库(类似于翻书、翻词典)找到对应的词条,然后根据这个词条回答用户。

看过其他文章的同学可能会问,为什么这里少了两个阶段:

  1. 编码阶段:检索到的文档或文本片段会与原始查询一起被编码成高维向量(多维数组的专业说法,只不过这里的多维多到几百、上千的那种)。
  2. 融合阶段:编码后的向量会进行融合,以生成一个综合的表示,这个表示同时包含了原始查询和检索到的相关信息。

的确很多 RAG 应用(包括这门课后面的实战案例)是包含以上两个步骤的,也就是说会包含四个阶段:

  1. 检索阶段
  2. 编码阶段
  3. 融合阶段
  4. 生成阶段

但是编码和融合阶段并不是 RAG 应用必需的,检索和生成阶段才是 RAG 应用必需的。

根据奥卡姆剃刀原则,如无必要,勿增实体。我们在规划设计一个 RAG 应用的时候,也尽量勿增实体,如果不需要添加编码和融合阶段,那我们就不添加。

RAG-索引

图片展示了RAG技术中文档处理的四个步骤。Load步骤从JSON、URLs等格式加载文档;Split步骤按规则拆分文档;Embed步骤对文档块进行向量化处理;Store步骤将向量存储在向量数据库中。图片与上下文紧密相关,直观呈现了文档中RAG技术步骤的内容,帮助理解文档格式统一和内容解析在其中的作用。

步骤:

  1. 拆分:按一定规则把文档拆分成小块,借助文档拆分器实现

    1. 加载:加载不同格式的文档,借助文档加载器实现
  2. 存储:对文档块进行向量化,并存储在向量数据库中

RAG-检索和生成

图片展示了检索增强生成(RAG)技术的工作流程。左侧“Question”代表用户提问,经“RETRIEVE”检索器从向量数据库中检索相关块,再通过“PROMPT”生成提示,最后由LLM(大型语言模型)生成答案,以“Answer”显示。检索器以蓝色方块呈现,包含放大镜图标,提示其功能为从数据库检索相关块。该图与文档中RAG检索和生成步骤的上下文对应,直观呈现了检索和生成的流程。

步骤:

  1. 检索:根据用户的输入,借助检索器从向量数据库中检索出相关的块
  2. 生成:LLM 使用包含问题答案的块进行问答

图片展示了RAG(检索增强生成)技术的导论流程。用户问题进入LLM,LLM判断问题是否完整、是否可检索、是否需要重问,若不完整则转述并询问补充信息,完整则生成答案。若不完整,LLM会思考、转述,循环N次,直到解决问题。LLM生成答案后,若答案不完整,RAG检索,生成答案。该图与上下文紧密相关,直观呈现了RAG技术中检索和生成的步骤及逻辑关系。

图片展示了RAG(检索增强生成)技术的流程。文档数据存储后,通过Parse语料、Chunk句子/段落、Embeddings嵌入等步骤,向量数据库中存储向量数据。检索器从向量数据库检索相关块,LLM使用包含问题答案的块进行问答。此外,还有提升索引准确率、改善排序方法、回答前反复思考等环节,以及让问题更好理解、支持多种数据源、改造信息抽取途径等扩展。该图与上下文介绍的RAG技术步骤紧密相关,直观呈现其工作流程。

在检索增强生成(RAG)技术中,文档格式的统一和内容解析是确保高质量输出的关键环节。

RAG 需要处理来自多种来源的文档,因此有效地解析这些文档是其成功应用的基础。

识别难度:

对AI的挑战:不仅要看懂内容,还得学习格式。

为什么要掌握多源文档格式

  1. 提取图片的Word、PDF等格式中的特定内容
  2. 增加对新格式的支持
  3. 避免信息丢失或误读
  4. 在后续检索与生成过程中提供更高质量的数据输入
  5. 提升信息检索效率:统一格式后,可以使用相同的索引方法(如倒排索引、向量索引)对所有文档进行处理,避免为每种格式单独开发检索逻辑,提高系统的可维护性和扩展性

解析 md 文档

# 读取 ./data/data.md 文件作为运维知识库
file_path = os.path.join('data', 'data.md')
with open(file_path, 'r', encoding='utf-8') as file:
    docs_string = file.read()

# Split the document into chunks base on markdown headers.
headers_to_split_on = [
    ("#", "Header 1"),
    ("##", "Header 2"),
    ("###", "Header 3"),
]

text_splitter = MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on)
splits = text_splitter.split_text(docs_string)

print("Length of splits: " + str(len(splits)))
print(splits)

原理:

  1. 借助 LangChain text_splitter 对 Markdown 运维专家知识库进行分片
  2. 再将分片的段落进行 Embedding 向量化

RAG Embedding 核心代码

# 向量检索时会把 input Embedding 之后转成向量
from openai import OpenAI
client = OpenAI()

response = client.embeddings.create(
    input="payment 服务是谁维护的?",
    model="text-embedding-3-small"
)

print(response.data[0].embedding)

# 输出 1536 维向量
[0.013615109957754612, -0.03324897587299347, 0.055096786469221115, 0.008762987330555916, -0.004749380052089691, -0.0022156040649861097, -0.015192712657153606, 0.051093120127916336,
......
]

原理:

  1. 借助 OpenAI Embedding 模型对每个分片进行向量化,返回特定维度的向量
  2. Embedding 模型可选:text-embedding-3-small、text-embedding-3-large

RAG Embedding 模型选择

📎 此处原稿为飞书表格附件,Markdown 导出时未包含该表格,内容暂缺。

基础概念

最基础的两个概念:对话模式和返回结构化数据

三个重要概念——元数据、文本摘要、机器翻译

三个重要概念:向量与嵌入模型、向量数据库、通过相似度来检索知识

对话模式

用户与 AI 进行对话

用户、AI 与系统

三种角色:用户(User)、助手(assistant)、系统(system)

系统消息是可选的。目前除了 OpenAI 之外,很多大模型都不支持系统这一角色。

记忆

AI 的记忆是有上限的,不同的大模型甚至同一个大模型在不同版本所支持的记忆上限是不同的,但是有一点是肯定的,就是记忆是有上限的,区别只是上限有多高而已。就像天才和普通人一样,都是会遗忘,只不过天才能够记住的东西更多而已。

RAG 向量检索原理

pip install langchain
pip install langchain-openai
pip install langchain-community

计算距离的几个方法。

class EmbeddingDistance(str, Enum):
    """Embedding Distance Metric.

    Attributes:
        COSINE: Cosine distance metric.
        EUCLIDEAN: Euclidean distance metric.
        MANHATTAN: Manhattan distance metric.
        CHEBYSHEV: Chebyshev distance metric.
        HAMMING: Hamming distance metric.
    """

    COSINE = "cosine"
    EUCLIDEAN = "euclidean"
    MANHATTAN = "manhattan"
    CHEBYSHEV = "chebyshev"
    HAMMING = "hamming"

RAG 提示语

System Prompt: 您是问答任务的助手。使用以下检索到的上下文来回答问题。如果您不知道答案,就说您不知道。最多使用三句话并保持答案简洁。 问题:{question} # 用户输入的问题 上下文:{context} # 最近似的 N 个分片 答案:

RAG 运维知识库示例

module_4/demo_7/simple_rag.ipynb

RAG 缺点

  1. 由于文本分片会把上下文逻辑截断,可能导致无法回答内在逻辑关联的问题
  2. 只能回答显式检索问题,无法回答全局性/总结性问题,例如:“谁维护的服务最多?”

解析 Word

Word 文件的特点

Word文档格式:MS Office 2007 之前为doc,之后为 docx

docx格式:.docs文件是Microsoft Word文档的Open XML格式。

Open XML格式(.docx/.xlsx/.pptx)是所有受支持版本的 Microsoft Office 的默认格式

DOCS 文档的组成部分可以主要分为以下几个类别:

Python-decx 模块

在DOCX文档中,主要有以下几种组成部分:

https://github.com/langgenius/dify/blob/main/api/core/rag/extractor/word_extractor.py

图片展示了Word文件解析代码,位于文档中“Word文件的解析逻辑”部分。代码中定义了WordExtractor类,包含extract方法,用于解析Word文档。关键部分是_extract_images方法,用于提取图片,将图片保存到image_folder目录,并映射到image_map字典中,键为图片引用ID,值为HTML格式标签。该图片直观呈现了Word文件解析中图片处理的代码实现,与上下文介绍的图片处理逻辑相呼应。

Word文件的解析逻辑

  1. 文字一般采用 python-docs 库直接解析
  2. 图片保存到指定的image_floder 目录中,并被映射到一个image_map字典中,键是图片的引用ID,值是图片的HTML格式标签
  3. 在处理文档内容时候,当遇到图片引用时,会从image_map中获取对应的HTML标签并插入到内容中,直接处理图片的逻辑相同。
  4. 最终生成的文档内容会包含文本和图片的HTML表示

解析PDF

解析PDF文件的特点

  1. Word、Markdown、HTML 等文档都属于有标记文档。因此它是结构化的,并且直接存储了文本的组织结构信息,例如段落、单元格和表格。这种特性使得Word文档相对容易被计算机直接处理和解析。
  2. PDF文档在实际工作场景中通常是非结构化的,其巨大价值若不经过解析将难以发掘。

图片展示了PDF文件的特点相关内容。上方文字说明Word、Markdown、HTML等文档属于有标记文档,是结构化的,直接储存文本组织结构信息。PDF文档在实际工作场景中非结构化,巨大价值需解析发掘。下方代码示例展示了PDF文件的页面内容流,包括流开始、文本块开始、文本字符串放置、文本块结束、流结束等部分,直观呈现了PDF文件的结构。

PDF文件的解析

  1. Dify 是如何解析PDF的?

Dify 使用了pypdfium2 库

def parse(self, blob: Blob) -> Iterator[Document]:
    """Lazily parse the blob."""
    import pypdfium2  # type: ignore

    with blob.as_bytes_io() as file_path:
        pdf_reader = pypdfium2.PdfDocument(file_path, autoclose=True)
        try:
            for page_number, page in enumerate(pdf_reader):
                text_page = page.get_textpage()
                content = text_page.get_text_range()
                text_page.close()
                page.close()
                metadata = {"source": blob.source, "page": page_number}
                yield Document(page_content=content, metadata=metadata)
        finally:
            pdf_reader.close()
  1. 优化解析的逻辑:通过OCR进行布局识别
  2. 进行表格识别:

参考代码:https://github.com/infiniflow/ragflow/tree/main/deepdoc

跨页表格对齐

问题:

  1. 表头重复:每一页可能都包含相同的表头。
  2. 行列错位:页面分割导致行或列不完整。
  3. 格式不一致:不同页中表格样式、排版存在差异。
  4. OCR 识别误差:尤其在扫描件中,文字识别错误影响结构恢复

关键技术方案

  1. 表格结构识别(TSR)
  1. 跨页表格合并策略

    1. 表头一致性检测

      1. 使用文本匹配或语义向量判断是否为同一张表的重复表头
    2. 表格位置分析(Bounding Box)

      1. 判断相邻页中的表格是否在文档不居中连续。
    3. 自动拼接与去重

      1. 对于相同表头的多个分页表格,按行拼接,并去除重复的表头行
  2. 结构化输出

将合并后的表格转换为结构化格式,便于下游模型理解

完整流程示例

PDF 处理

MinerU 官网

https://github.com/opendatalab/mineru

本地部署方式和过程更简单,集成 Dify 容易。

RAG 切片有哪几种方式?

RAG(Retrieval-Augmented Generation)里的 切片(Chunking) 是影响召回效果的核心步骤。切得好,召回准;切不好,模型就“找不到答案”。

常见的 RAG 切片方式可以分为 6 大类:

固定长度切片(Fixed-size Chunking)

最简单粗暴的方式:

按固定 token / 字符数切分,比如:

2️⃣ 滑动窗口切片(Sliding Window)

在固定长度基础上加“重叠(overlap)”。

例如:

3️⃣ 语义切片(Semantic Chunking)

基于语义边界切分,而不是固定长度。

常见方式:

例如:

4️⃣ 结构化切片(Structure-based Chunking)

利用文档结构切片:

例如:

# 1. 简介
作为一个 chunk

## 1.1 背景
作为一个 chunk

5️⃣ 递归切片(Recursive Chunking)

常见于 LangChain 的 RecursiveCharacterTextSplitter 思路:

切分优先级:

  1. 先按段落分
  2. 不够小再按句子分
  3. 还不够再按字符分

工业项目中非常常见。

6️⃣ 基于问题优化切片(Query-aware Chunking)

高级玩法 🔥

根据用户问题动态切片。

📎 此处原稿为飞书表格附件,Markdown 导出时未包含该表格,内容暂缺。

OCR 结合 LLM 纠错,让图像文本也能精确使用

错误类型分析

  1. 字符识别错误
  2. 文字遗漏
  3. 多字重复
  4. 格式混乱
  5. 特殊符号识别错误

FAISS、HNSW还是BM25?如何选择最适合业务的向量检索引擎?

Graph RAG

由微软提出的一种全新的方法 https://arxiv.org/pdf/2404.16130 借助 LLM 提取知识库内部实体之间的关系,并构建出知识图谱 基于知识图谱进行问答,提供全局性问题的答案

Graph RAG Demo

借助 Graph Rag 实现运维专家知识库

建立实体关系,解决全局性问题的对话

https://github.com/microsoft/graphrag

借助 Neo4j 查看实体关系

图片展示了借助Neo

零代码开源 RAG 工具介绍:Ragflow

要求: CPU >= 4 核 RAM >= 16 GB Disk >= 50 GB Docker >= 24.0.0 & Docker Compose >= v2.26.1 安装:

git clone https://github.com/infiniflow/ragflow.git
cd ragflow/docker
chmod +x ./entrypoint.sh
# macOS 注意:docker-compose-base.yml mysql image: mariadb:10.5.8, .env file add 
RAGFLOW_VERSION=v0.9.0
MACOS=1
sudo docker compose -f docker-compose.yml up -d , 访问 http://CVM_IP

Ragflow:以运维专家知识库为例

  1. 注册账号并登录
  2. 点击右上角头像,进入模型供应商设置
  3. 以 OpenAI 为例,点击添加模型,输入 Base URL 和 APIKEY
  4. 返回首页,创建知识库,选择 Embedding 模型和文档解析方法
  5. 上传文件,点击“启动”按钮进行 Embedding,等待处理完成
  6. 新建助理并基于知识库进行对话

Ragflow VS QAnything

📎 此处原稿为飞书表格附件,Markdown 导出时未包含该表格,内容暂缺。