
## 工作流概述
这个n8n工作流是一个端到端的检索增强生成(RAG)AI代理解决方案,专门为Agentic Arena社区竞赛设计。该工作流能够基于提供的PDF知识库回答问题,实现完全自动化的知识摄取、处理和检索流程。
## 核心优势
### ✅ 端到端RAG实现
完全自动化PDF知识的摄取、处理和向量数据库检索流程
### ✅ 多层检索确保准确性
结合嵌入向量、Qdrant搜索和Cohere重新排序,确保代理检索最相关的策略信息
### ✅ 强大的评估系统
包含由GPT-4.1作为评判的自动正确性评估管道,确保透明评分和持续改进
### ✅ 引用驱动的合规性
AI代理被指示为每个答案提供引用,适用于高风险用例如策略合规性
### ✅ 可扩展性和模块化
可以轻松集成不同的数据源(Google Drive、API、其他存储系统)并扩展到新的用例
### ✅ 与Google Sheets无缝协作
评估集和结果都与Google Sheets集成,便于监控、迭代和报告
### ✅ 云和自托管灵活性
与Hetzner上的自托管Qdrant、用于OCR的Mistral Cloud以及OpenAI/Cohere API配合使用,结合本地控制与强大的云AI服务
## 工作原理
### 知识库摄取(”设置”执行)
当手动启动时,工作流首先清除现有的Qdrant向量数据库集合。然后搜索指定的Google Drive文件夹中的PDF文件。对于找到的每个PDF,执行以下步骤:
– 将文件上传到Mistral AI API
– 使用Mistral的OCR服务处理PDF,提取文本并将其转换为结构化markdown格式
– 将文本分割为可管理的块
– 使用OpenAI模型为每个文本块生成嵌入向量
– 将嵌入向量存储在Qdrant向量存储中,创建可搜索的知识库
### 代理评估(”测试”执行)
工作流由包含问题和正确答案的评估Google Sheet触发。对于每个问题:
– 激活核心AI代理,使用RAG工具搜索预填充的Qdrant向量存储中的相关信息
– 使用Cohere重新排序器优化搜索结果以获得最高质量的上下文
– 利用GPT-4.1模型基于检索到的上下文严格生成答案
– 代理的答案传递给”LLM作为评判”(另一个GPT-4.1实例),与评估表中的真实答案进行比较
– 评判提供基于事实正确性和引用准确性的详细评分(1-5分)
– 代理的答案和正确性评分都保存回Google Sheet以供审查
## 技术节点组成
该工作流包含以下主要节点类型:
– **HTTP Request**:用于API调用和数据获取
– **Filter**:数据过滤和条件处理
– **If**:条件逻辑控制
– **Anthropic Chat Model**:Claude AI模型集成
– **Structured Output Parser**:结构化输出解析
– **Code**:自定义JavaScript代码执行
– **Google Sheets**:Google表格数据读写
– **SplitInBatches**:批量数据处理
– **Agent**:AI代理处理
– **Firecrawl**:网页内容抓取
– **Chat Trigger**:聊天触发器
## 设置步骤
### 配置核心AI服务
– **OpenAI API凭证**:用于主要AI代理、评判LLM和生成嵌入向量
– **Mistral AI API凭证**:用于处理PDF文件的OCR服务
– **Cohere API凭证**:用于提高检索质量的重新排序节点
– **Google服务账户**:设置Google Sheets(读取问题和保存结果)和Google Drive(访问PDF源文件)的OAuth
### 设置向量数据库(Qdrant)
– 此工作流使用自托管的Qdrant实例,必须部署和配置自己的Qdrant服务器
– 使用正确的API端点URL和Qdrant实例凭证更新Qdrant Vector Store和RAG节点
– 确保集合名称(agentic-arena)已创建或与您的设置匹配
### 连接数据源
– **PDF源**:在”Search PDFs”节点中,更新folderId参数指向您自己的包含竞赛PDF的Google Drive文件夹
– **评估表**:在”Eval Set”节点中,更新documentId指向您自己的包含测试问题和答案的评估Google Sheet副本
– **结果表**:在”Save Eval”节点中,更新documentId指向您想要保存评估结果的Google Sheet
## 应用场景
这个工作流特别适用于:
– 企业内部知识库问答系统
– 合规性文档查询和验证
– 客户服务自动化
– 教育培训材料智能检索
– 政策文档分析和查询

评论(0)