SiameseUIE与LangChain集成：构建智能问答系统

SiameseUIE与LangChain集成构建智能问答系统你是不是也遇到过这种情况面对一份几十页的行业报告、一堆杂乱的技术文档或者一个复杂的客户案例想快速找到某个具体问题的答案却不得不花大量时间从头到尾翻阅。传统的全文搜索只能帮你找到关键词却无法理解问题的真正意图更别说从文本中提炼出结构化的知识了。今天我们就来聊聊如何解决这个痛点。通过将强大的信息抽取模型SiameseUIE与灵活的LangChain框架结合起来我们可以构建一个真正“懂你”的智能问答系统。它不仅能回答事实性问题还能从非结构化的文本中自动抽取出实体、关系、事件构建起一个动态的知识图谱让机器像专家一样理解文档内容。1. 为什么需要“抽取问答”的组合在深入技术细节之前我们先看看传统方法的局限。假设你有一堆医疗文献想快速了解“药物A与症状B之间有何关联”。单纯关键词搜索你搜“药物A 症状B”可能找到大量同时提到这两个词的段落但无法判断是“引发”、“治疗”还是“缓解”关系需要人工阅读判断。单纯大模型问答你把所有文献扔给一个大语言模型LLM提问。LLM可能会基于其训练数据生成一个听起来合理的答案但这个答案可能并非来自你提供的权威文献存在“幻觉”风险且无法追溯答案来源。我们的“抽取问答”方案信息抽取SiameseUIE首先让SiameseUIE模型像一位经验丰富的助理快速扫描所有文献从中精准地抽取出“药物”、“症状”、“疾病”等实体以及它们之间的“治疗”、“引发”、“副作用”等关系。这些信息被结构化成一条条清晰的记录。知识存储将这些结构化的记录实体和关系存入一个图数据库如Neo4j或向量数据库形成一个专属于你文档的、可查询的知识图谱。智能问答LangChain当用户提问时LangChain会先分析问题然后去这个专属知识图谱里精准检索相关事实最后组织语言生成答案。这个答案完全基于你的文档准确可靠并且可以告诉你答案出自哪段原文。简单说SiameseUIE负责“读懂”文档并提炼知识LangChain负责“利用”这些知识来回答问题。两者结合既保证了答案的准确性又实现了对海量文本的深度理解。2. 核心工具准备SiameseUIE与LangChain2.1 SiameseUIE你的零样本信息抽取专家SiameseUIE是一个基于提示Prompt的通用信息抽取模型。它的强大之处在于“零样本”或“少样本”能力——你不需要准备大量标注数据去训练它只需要用自然语言告诉它你想抽什么它就能在陌生领域的文本中尝试抽取。比如你想从法律合同中抽取“责任方”和“违约条款”不需要训练只需设计这样的提示文本“若乙方未按期交付须向甲方支付合同总额20%的违约金。”提示“找出文本中的责任方和违约条款”输出{责任方: [乙方], 违约条款: [支付合同总额20%的违约金]}它支持多种任务正是我们构建知识库的基石命名实体识别NER抽取出人名、组织、地点、药物、症状等。关系抽取RE抽取出实体之间的关系如“药物治疗疾病”、“公司收购公司”。事件抽取EE抽取出发生了什么事件以及事件的参与角色、时间、地点等。2.2 LangChain大模型应用的“乐高”框架LangChain不是一个模型而是一个框架。它把使用大语言模型LLM构建应用时需要的各种环节——比如连接模型、处理文档、管理记忆、调用工具——都模块化了。你可以像搭乐高一样把这些模块组合起来快速构建出复杂的应用。在我们的问答系统中LangChain主要扮演三个角色文档加载与处理帮你把PDF、Word、TXT等各种格式的文档读进来并切分成适合处理的片段。检索与生成链条RetrievalQA这是核心。它自动将用户问题转化为查询从我们构建的知识库向量库或图数据库中检索最相关的信息然后把“问题检索到的信息”一起交给LLM让LLM生成最终答案。代理Agent进阶让系统不仅能问答还能根据问题决定调用哪个工具比如先查知识图谱再计算最后生成报告实现更复杂的推理。3. 实战四步构建专属智能问答系统下面我们以一个“医疗健康知识问答”为例演示完整流程。你需要准备一些医疗科普文章或药品说明书作为原始文档。3.1 第一步环境搭建与模型部署首先确保你的Python环境建议3.8以上并安装核心库。# 安装LangChain及相关组件 pip install langchain langchain-community langchain-chroma # 安装SiameseUIE通过modelscope pip install modelscope # 安装向量数据库Chroma轻量级易于上手 pip install chromadb # 安装大模型接口这里以OpenAI兼容接口为例如使用国内模型需对应调整 pip install openai接下来加载SiameseUIE模型。我们使用ModelScope的镜像部署非常方便。from modelscope import AutoModelForSeq2SeqLM, AutoTokenizer # 加载SiameseUIE中文基础模型 model_dir iic/nlp_structbert_siamese-uie_chinese-base tokenizer AutoTokenizer.from_pretrained(model_dir) model AutoModelForSeq2SeqLM.from_pretrained(model_dir) # 定义一个简单的抽取函数 def uie_extract(text, schema): 使用SiameseUIE进行信息抽取 :param text: 待抽取的文本 :param schema: 抽取的schema定义要抽什么。例如{疾病: [], 症状: [], 药物: []} :return: 结构化的抽取结果 # 将schema转换为模型需要的提示文本 # 例如schema是{疾病: [], 症状: []}提示可能是“找出文本中的疾病和症状” prompt f从以下文本中抽取出{list(schema.keys())}信息{text} inputs tokenizer(prompt, return_tensorspt, truncationTrue, max_length512) outputs model.generate(**inputs, max_new_tokens128) result tokenizer.decode(outputs[0], skip_special_tokensTrue) # 这里需要对result进行解析转换为结构化的字典。实际应用中SiameseUIE有更规范的调用方式。 # 为简化演示我们返回一个模拟的结构化数据。 return {text: text, entities: {疾病: [高血压], 症状: [头晕, 心悸]}}3.2 第二步文档处理与知识抽取现在我们加载医疗文档并用SiameseUIE批量抽取知识。from langchain.document_loaders import TextLoader from langchain.text_splitter import RecursiveCharacterTextSplitter import json # 1. 加载文档这里以txt为例 loader TextLoader(./medical_docs.txt, encodingutf-8) documents loader.load() # 2. 分割文本因为模型有长度限制且长文档需要切分处理 text_splitter RecursiveCharacterTextSplitter( chunk_size500, # 每个片段大约500字符 chunk_overlap50 # 片段间重叠50字符避免信息割裂 ) texts text_splitter.split_documents(documents) # 3. 定义我们关心的知识类型Schema medical_schema { 疾病: [], 症状: [], 药物: [], 检查项目: [], 治疗方案: [] # 这是一个关系实际可定义为“疾病-治疗-药物” } # 4. 批量信息抽取构建结构化知识库 knowledge_base [] for doc in texts: content doc.page_content # 调用我们上面定义的uie_extract函数实际需完善 extracted_info uie_extract(content, medical_schema) # 将抽取结果与原文片段关联存储 knowledge_record { source_text: content, extracted_data: extracted_info, metadata: doc.metadata } knowledge_base.append(knowledge_record) # 可以将知识库保存为JSON文件方便后续使用 with open(./medical_knowledge_base.json, w, encodingutf-8) as f: json.dump(knowledge_base, f, ensure_asciiFalse, indent2) print(f知识抽取完成共处理{len(knowledge_base)}条记录。)3.3 第三步构建可检索的知识库结构化的知识库需要被高效检索。这里我们使用向量数据库将文本片段转换为向量嵌入这样就能根据语义相似度快速找到相关内容。from langchain.embeddings import OpenAIEmbeddings from langchain.vectorstores import Chroma from langchain.schema import Document # 1. 准备嵌入模型这里需要配置你的API Key或使用本地嵌入模型 # 假设使用OpenAI的嵌入模型你需要设置环境变量 OPENAI_API_KEY embeddings OpenAIEmbeddings(modeltext-embedding-3-small) # 2. 将我们抽取的知识主要是原文片段准备成LangChain的Document对象 docs_for_vectordb [] for record in knowledge_base: # 我们可以把“原文”和“抽取出的结构化信息”拼接起来作为存储内容增强检索效果。 content_to_store f原文{record[source_text]}\n\n提取的关键信息{json.dumps(record[extracted_data], ensure_asciiFalse)} doc Document( page_contentcontent_to_store, metadatarecord[metadata] ) docs_for_vectordb.append(doc) # 3. 创建并持久化向量数据库 vectorstore Chroma.from_documents( documentsdocs_for_vectordb, embeddingembeddings, persist_directory./chroma_medical_db # 数据保存到本地目录 ) vectorstore.persist() print(向量知识库构建完成)3.4 第四步集成LangChain实现智能问答最后我们将向量数据库与大语言模型连接起来形成完整的问答链。from langchain.chains import RetrievalQA from langchain.chat_models import ChatOpenAI # 或其他兼容的ChatModel # 1. 加载我们刚刚创建的向量数据库 vectorstore Chroma( persist_directory./chroma_medical_db, embedding_functionembeddings ) # 2. 初始化一个大语言模型LLM # 注意你需要有相应的API访问权限。这里以OpenAI GPT为例。 llm ChatOpenAI(modelgpt-3.5-turbo, temperature0.1) # temperature调低让答案更确定 # 3. 创建检索式问答链 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, # 将检索到的所有文档内容“塞”给LLM。对于大量检索结果可用“map_reduce”等。 retrievervectorstore.as_retriever(search_kwargs{k: 4}), # 每次检索4个最相关的片段 return_source_documentsTrue, # 返回答案来源便于追溯 verboseFalse # 设为True可以看到链的详细执行过程 ) # 4. 开始提问 question 高血压患者通常会出现哪些症状 result qa_chain({query: question}) print(f问题{question}) print(f答案{result[result]}) print(\n--- 答案来源 ---) for i, doc in enumerate(result[source_documents][:2]): # 展示前两个来源 print(f来源{i1}片段{doc.page_content[:200]}...)运行这段代码系统会从我们构建的医疗知识库中自动检索与“高血压”、“症状”相关的文档片段并组织成一段通顺的答案。更重要的是答案完全基于你提供的文档避免了“胡编乱造”。4. 进阶优化与应用扩展基础系统跑通后你可以从这些方向深化从向量检索到图检索如果抽取的实体和关系非常丰富可以将其存入Neo4j等图数据库。当用户问“A药能治疗哪些疾病”时直接在图数据库中进行图谱查询效率更高推理关系更直观。设计更精细的提示Prompt在RetrievalQA链中可以自定义提示模板指导LLM更好地利用检索到的信息。例如要求它“严格根据提供的资料回答如果资料中没有就回答不知道”。处理复杂、多跳问题用户可能问“治疗糖尿病的一线药物其主要副作用是什么”。这需要先找到“治疗糖尿病的一线药物”如二甲双胍再找到该药物的“副作用”。这需要更智能的检索或使用LangChain的“代理Agent”来分步推理。融合多源知识你的系统可以同时连接内部文档库和经过审核的外部权威数据库如药品数据库让答案更全面。领域快速适配今天做医疗明天想做法律。你只需要更换文档并修改SiameseUIE的抽取Schema例如改为“法律条款”、“责任方”、“违约金”就能快速构建一个新的领域问答系统。这就是零样本抽取和模块化框架的魅力。5. 写在最后把SiameseUIE和LangChain搭在一起就像是给计算机装上了“眼睛”和“大脑”。眼睛SiameseUIE负责从海量文本中精准捕捉关键信息大脑LangChainLLM则负责理解问题、组织知识并给出回答。这套方案最吸引人的地方在于它的实用性和灵活性。你不需要组建庞大的标注团队也不需要从头训练复杂的模型。利用现有的、强大的开源模型和框架就能为自己的业务数据打造一个专属的智能知识助手。无论是分析客户反馈、研读竞品报告还是管理内部知识库它都能显著提升信息获取的效率和深度。当然任何一个系统都不是完美的。信息抽取的准确性、对复杂逻辑问题的处理能力都还有提升空间。但重要的是你已经有了一个强大且可迭代的起点。不妨就从你手头最让人头疼的那堆文档开始试试让AI来帮你“读”吧。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。