RAG 不需要向量库？无向量检索新范式全攻略（非常硬核），大模型检索从入门到精通，收藏这一篇就够了！

基于推理的检索如何击败结构化文档上的相似性搜索以及如何使用 PageIndex 构建它你向 AI 智能体询问一份 200 页合同的问题。它自信地回答。答案是错误的。它从正确的主题中提取了文本但却是错误的条款而模型从未注意到。这不是模型问题。这是检索问题。发生这种情况是因为向量 RAG 核心的假设——看起来相似的文本等于相关文本——在任何有结构的文档上都会失效。有一种不同的方法无向量 RAG。不需要嵌入。不需要向量数据库。不需要分块管道。系统不是搜索相似文本而是像人类专家那样推理答案在文档中的位置。本文解释了这个概念、它在哪里优于传统 RAG以及如何使用 PageIndex 构建它PageIndex 是一个用约 50 行 Python 实现的开源库。什么是传统 RAGRAG即Retrieval-Augmented Generation检索增强生成它解决了一个问题AI 模型不了解你的文档。它们在公共数据上训练并冻结。RAG 通过在查询时从你的文档中获取相关信息并将其提供给模型来修复这个问题。两阶段流程阶段 1索引一次性完成• 你的文档被分割成 300 到 500 词的块• 每个块被转换成称为嵌入的数字列表即该块含义的数学指纹• 所有嵌入进入向量数据库Pinecone、Weaviate、pgvector针对快速查找相似数字进行优化阶段 2查询每个问题执行一次• 你提出的问题被转换成相同的数字格式• 数据库返回其数字最接近问题数字的块• 那些块加上你的问题发送给 LLM由 LLM 生成答案就这样。两阶段的完整管道。适用于广泛问题的一般知识。在结构化、专业的文档上会崩溃。它实际在哪里失效问题不是块大小或嵌入。更根本。向量搜索优化的是相似性而不是真确性。所以当你问一个实际问题如什么推动了 Q3 收入增长时它提取每个_提到_收入的块而不是实际_解释_它的块。分块让情况更糟。含义被分割了。定义在一个块中依赖关系在另一个块中。交叉引用断裂。模型最终只能猜测因为上下文不完整。当它失败时你一无所知。你得到相似性分数而不是推理——没有解释为什么某物被检索到。在金融或法律等领域这是一个严重的缺陷。什么是无向量 RAG无向量 RAG 是一种检索方法用 LLM 驱动的结构化文档表示推理取代整个嵌入-搜索-分块管道。核心思想不是将你的文档转换为向量并搜索最接近的匹配而是让语言模型读取文档的结构化地图决定要打开哪个部分。模型像人类导航复杂报告时那样推理文档层次结构查看结构确定答案可能在哪里然后阅读该部分。这消除了什么• 无需选择和维护嵌入模型• 无需托管和查询向量数据库• 无需调整分块策略• 无静默检索失败——错误的块不会带着高相似性分数返回这添加了什么• 文档树一个分层 JSON 结构其中每个节点是带有标题、页码范围和 LLM 生成摘要的部分• 推理步骤LLM 读取树并根据问题决定检索哪些节点• 可追溯的答案你可以准确看到检索了哪个部分以及为什么无向量 RAG 不适用于每个用例。它专为答案存在于特定、可识别部分的结构化文档而设计财务报告、法律合同、技术手册和学术论文。对于这些文档它生成的答案基于特定页面而不是从松散相关块的片段中拼凑。PageIndex 做什么PageIndexgithub.com/VectifyAI/PageIndex是一个实现无向量 RAG 的开源库。它处理两件事树生成读取 PDF 并构建分层文档树树搜索提供对该树进行基于推理的导航的工具它是工具不是概念。本文的其余部分使用 PageIndex 实现该方法但底层模式——构建树、对其进行推理、获取正确部分——适用于任何 LLM 和任何树生成方法。PageIndex 如何实现无向量 RAG想象给研究分析师一份 200 页的年度报告并提问。分析师不是阅读每一页。他们看目录识别最可能包含答案的部分翻到那一页阅读然后回答。PageIndex 正是这样做的只是分析师是 LLM目录是从文档生成的结构化 JSON 树。两步流程步骤 1构建树索引PageIndex 读取你的文档并创建分层树其中每个节点是一个部分。每个节点存储• 部分标题• 唯一节点 ID• 页码范围起始和结束页• 该部分内容的 LLM 生成摘要• 子节点的子节点文档保持其自然结构。第 4.2 节知道它属于第 4 节。引言与结论保持连接。没有关系被切断。这是节点的样子{ title: Financial Stability, node_id: 0006, start_index: 21, end_index: 22, summary: The Federal Reserve monitors financial vulnerabilities..., nodes: [ { title: Monitoring Financial Vulnerabilities, node_id: 0007, start_index: 22, end_index: 28, summary: The Federal Reserves monitoring approach includes... }, { title: Domestic and International Cooperation, node_id: 0008, start_index: 28, end_index: 31, summary: In 2023, the Federal Reserve collaborated... } ]}步骤 2在树上推理当问题到来时LLM 读取树只有标题和摘要没有完整文本并生成•thinking字段LLM 用简单英语逐步导航推理•node_list它决定检索的特定节点 ID然后它只获取那些节点的完整文本。没有余弦相似度。明确决策带有你可以阅读和验证的可审计原因。完整代码教程从头构建我们将索引 DeepSeek-R1 研究论文并回答关于其结论的问题。无需向量数据库。无需嵌入模型。你需要什么• PageIndex API 密钥dash.pageindex.ai/api-keys有免费层级• OpenAI API 密钥• Python 3.8步骤 0安装和连接%pip install -q --upgrade pageindexfrom pageindex import PageIndexClientimport pageindex.utils as utilsPAGEINDEX_API_KEY YOUR_PAGEINDEX_API_KEYpi_client PageIndexClient(api_keyPAGEINDEX_API_KEY)PageIndexClient是你与 PageIndex 服务的连接。你给它一个 PDF它构建树索引。你给它一个文档 ID它返回用于查询的树。import openaiOPENAI_API_KEY YOUR_OPENAI_API_KEYasync def call_llm(prompt, modelgpt-4o, temperature0): client openai.AsyncOpenAI(api_keyOPENAI_API_KEY) response await client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], temperaturetemperature ) return response.choices[0].message.content.strip()这里有三件事值得理解•async def使此函数异步。用await call_llm(prompt)调用它。这很重要因为多个 LLM 调用可以运行而不会相互阻塞。•temperature0使模型确定性。相同的树、相同的问题、每次相同的导航决策。对于检索你需要一致性而不是创造性变化。• 这个相同的函数处理树搜索推理要打开哪个部分和最终答案生成。两份不同的工作一个干净的接口。步骤 1下载和索引文档import os, requests, jsonpdf_url https://arxiv.org/pdf/2501.12948.pdf # DeepSeek-R1 论文pdf_path os.path.join(../data, pdf_url.split(/)[-1])os.makedirs(os.path.dirname(pdf_path), exist_okTrue)response requests.get(pdf_url)with open(pdf_path, wb) as f: f.write(response.content)print(fDownloaded {pdf_url})doc_id pi_client.submit_document(pdf_path)[doc_id]print(Document Submitted:, doc_id)逐行说明•pdf_url.split(/)[-1]从 URL 中提取文件名2501.12948.pdf。[-1]表示在/上分割后的最后一个元素。•os.makedirs(..., exist_okTrue)如果文件夹不存在则创建它。exist_okTrue防止文件夹已存在时报错。•open(pdf_path, wb)以写二进制模式打开。PDF 是二进制文件不是文本。使用w而不是wb会损坏文件。•pi_client.submit_document(pdf_path)[doc_id]上传 PDF 并返回在每个后续调用中使用的文档 ID。树生成在服务器上异步进行所以接下来你轮询就绪状态。输出Downloaded https://arxiv.org/pdf/2501.12948.pdfDocument Submitted: pi-cmeseq08w00vt0bo3u6tr244g步骤 1.2获取树if pi_client.is_retrieval_ready(doc_id): tree pi_client.get_tree(doc_id, node_summaryTrue)[result] print(Simplified Tree Structure of the Document:) utils.print_tree(tree)else: print(Processing document, please try again later...)•is_retrieval_ready(doc_id)在树构建完成时返回True。如果在提交后立即调用它返回False。等待几秒钟然后重新运行。•node_summaryTrue包含每个节点的 LLM 生成摘要。这些摘要是树搜索 LLM 读取以决定导航到哪个节点的内容。没有它们LLM 只能看到裸部分标题并做出更弱的决策。•[result]从 API 响应包装器中提取实际树列表。你得到的内容[{title: DeepSeek-R1: Incentivizing Reasoning Cap..., node_id: 0000, nodes: [ {title: Abstract, node_id: 0001, summary: Introduces two reasoning models...}, {title: 1. Introduction,node_id: 0003, nodes: [ {title: 1.1. Contributions, node_id: 0004}, {title: 1.2. Evaluation Results, node_id: 0005} ]}, {title: 2. Approach, node_id: 0006, ...}, {title: 5. Conclusion, Limitations, and Future Work, node_id: 0019, summary: Presents conclusions about DeepSeek-R1 performance...} ]}]注意这是什么。这是论文的可导航地图。你可以直接看到结论在第 16 页的节点 0019 中。第 2 节有四个子节。读取此树的 LLM 操作方式与你浏览目录完全一样它查看结构找到最可能的候选然后去那里。步骤 2树搜索推理发生的地方query What are the conclusions in this document?# 从节点中移除完整文本。LLM 只需要标题和摘要# 来决定导航到哪里。发送完整文本会使提示# 不必要地变大且昂贵。tree_without_text utils.remove_fields(tree.copy(), fields[text])search_prompt fYou are given a question and a tree structure of a document.Each node contains a node id, node title, and a corresponding summary.Your task is to find all nodes that are likely to contain the answer to the question.Question: {query}Document tree structure:{json.dumps(tree_without_text, indent2)}Please reply in the following JSON format:{{ thinking: Your step-by-step reasoning about which nodes are relevant, node_list: [node_id_1, node_id_2, ...]}}Directly return the final JSON structure. Do not output anything else.tree_search_result await call_llm(search_prompt)此提示中发生了什么• LLM 看到带有标题和摘要但没有原始文本的完整树。这保持提示精简。• 在node_list之前要求thinking字段是故意的。它强制模型在做出决策之前逐步推理就像思维链提示的工作方式一样。在回答之前解释推理的模型比被直接要求回答的模型做出更好的决策。• 最终输出是结构化 JSON。Directly return the final JSON structure. Do not output anything else.防止模型将 JSON 包裹在解释文本中这会在下一步破坏json.loads()。步骤 2.2打印推理和检索的节点node_map utils.create_node_mapping(tree)tree_search_result_json json.loads(tree_search_result)print(Reasoning Process:)utils.print_wrapped(tree_search_result_json[thinking])print(\nRetrieved Nodes:)for node_id in tree_search_result_json[node_list]: node node_map[node_id] print(fNode ID: {node[node_id]}\t Page: {node[page_index]}\t Title: {node[title]})•utils.create_node_mapping(tree)将嵌套树展平为以节点 ID 为键的扁平字典。不是遍历嵌套列表来找到节点 0019而是做node_map[0019]直接获取节点。•json.loads(tree_search_result)将 LLM 的 JSON 字符串转换为 Python 字典。•for循环遍历返回的节点 ID 并打印每个的页码和标题让你一目了然地看到完整检索追踪。来自 notebook 的实际输出Reasoning Process:The question asks for the conclusions. Typically, conclusions are found in sectionsexplicitly titled Conclusion. In this document, node 0019 (5. Conclusion,Limitations, and Future Work) is the most directly relevant. The Abstract (node0001) may contain a high-level summary but is less likely to have the fullconclusions. The Discussion (node 0018) covers implications but is not explicitlyconclusions. Therefore the primary node is 0019.Retrieved Nodes:Node ID: 0019 Page: 16 Title: 5. Conclusion, Limitations, and Future Work阅读那个推理。LLM 评估了三个候选解释为什么其中两个不是正确答案并以明确理由锁定节点 0019。你可以阅读它、验证它并将任何错误追溯到特定推理步骤。这就是向量搜索无法给你的。步骤 3获取上下文并生成答案node_list json.loads(tree_search_result)[node_list]# 获取每个检索节点的完整文本并连接它们relevant_content \n\n.join(node_map[node_id][text] for node_id in node_list)node_map[node_id][text]获取每个节点的完整页面文本。\n\n.join(...)在各部分之间放置双换行符以便模型可以将它们作为独立片段阅读。如果检索到两个节点你会得到两段文本干净分离。answer_prompt fAnswer the question based on the context:Question: {query}Context: {relevant_content}Provide a clear, concise answer based only on the context provided.answer await call_llm(answer_prompt)utils.print_wrapped(answer)生成的答案The conclusions in this document are:- DeepSeek-R1-Zero, a pure RL approach without cold-start data, achieves strong performance across various tasks.- DeepSeek-R1, combining cold-start data with iterative RL fine-tuning, achieves performance comparable to OpenAI-o1-1217.- Distilling DeepSeek-R1s reasoning into smaller models is promising: DeepSeek-R1-Distill-Qwen-1.5B outperforms GPT-4o and Claude-3.5-Sonnet on math benchmarks.正确。基于第 16 页。每个声明都可以直接追溯到节点 0019。如果答案是错误的你会准确知道错误从哪里进入树搜索决定检索节点 0019你可以立即检查该决策。从问题到答案的整个管道恰好进行了两次 LLM 调用。一次用于树导航。一次用于答案生成。承诺之前值得了解的局限性延迟。每个查询在答案生成调用之前至少需要额外的一次 LLM 调用来仅进行树导航。这在标准 RAG 之上增加了有意义的延迟。对于用户期望近乎即时响应的对话产品这个差距是明显的。规模化成本。向量相似性搜索在索引构建后每次查询的边际成本接近零。树搜索在每次查询时调用 LLM。确切成本取决于你的模型选择和上下文长度但在任何有意义的查询量下相比纯向量方法它成为一笔真正的支出。依赖于文档结构。无向量 RAG 在文档有真正层次结构时效果最好清晰的章节标题、逻辑嵌套、目录。格式不佳的 PDF、没有 OCR 的扫描文档、以及导出为 PDF 的演示文稿会产生具有弱摘要和平面树的扁平结构导致更差的检索。多文档扩展仍在研究中。该方法对单文档问答很强。对于你不知道哪个文档包含答案的大型集合每个文档一树的开销增长很快。PageIndex 将此记录为已知限制并将多文档搜索列为开发中。模型质量直接影响检索。导航决策取决于做出它的 LLM 的质量。更强的推理模型产生更好的树导航。如果你想用小模型完全本地运行在生产中信任输出之前仔细测试。何时使用无向量 RAG vs 向量 RAG在以下情况下选择无向量 RAG• 你的文档有清晰的结构10-K 表、法律合同、学术论文、技术手册、政策文档• 准确性是优先项错误答案有真正后果• 你需要可追溯的审计追踪检索的部分、来自哪一页、选择背后的推理• 你一次只处理一个特定文档而不是搜索大型集合在以下情况下选择向量 RAG• 你的集合有数千个文档查询需要跨越所有文档• 问题广泛且语义化“找到关于 X 的一切或关于 Y 我们知道什么”• 查询量大响应延迟是硬性要求• 文档格式不佳或缺乏清晰结构实用测试从你的实际用例中取 20 到 30 个真实问题运行两种方法并比较准确性。一天的评估胜过数月的架构辩论。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】