## 概述
这个n8n工作流提供了一个强大的多模态文件分析解决方案，通过Google Gemini工具连接到仅文本的LLM代理。用户可以上传图像、视频、音频文件或文档，工作流将自动分析内容并生成有用的响应。
## 主要功能
### 📁 多模态文件分析
– 支持图像、视频、音频和文档文件上传
– 通过Google Gemini进行专业媒体分析
– 动态生成基于文件类型和用户消息的上下文提示
### 🧭 工作流程
1. **聊天输入**：用户通过chatTrigger节点提交消息和文件
2. **文件处理**：
– 如果没有文件：提示直接传递给代理
– 如果有文件：文件被分割并上传到Gemini获取公共URL
3. **元数据构建**：收集文件名、类型和URL信息
4. **代理推理**：Langchain代理接收丰富的提示和文件数据
5. **工具调用**：代理自主决定使用哪个Gemini工具
### 🔧 核心技术组件
– **AI代理**：Langchain Agent进行推理决策
– **LLM模型**：Qwen 32B via Groq（高速文本推理）
– **内存管理**：15条消息的上下文缓冲区
– **Gemini工具**：
– IMG：图像分析
– VIDEO：视频分析
– AUDIO：音频分析
– DOCUMENT：文档分析
## 🎯 架构优势
与端到端多模态LLM（如Gemini 1.5或GPT-4o）相比，此模板：
– **模块化设计**：LLM与工具解耦，可独立更新
– **成本效益**：无需支付完整多模态模型费用
– **基于工具的推理**：按需调用工具，类似OpenAI的Toolformer设置
– **高速响应**：Groq LLM提供超低延迟响应
## 🚀 应用场景
– **客户支持**：用户上传截图、文档或录音获取见解或摘要
– **多媒体QA**：审查视觉、音频或视频内容的正确性或合规性
– **教育代理**：即时解释PDF、图表或音频记录的内容
– **低成本多模态助手**：无需依赖大型视觉语言模型即可实现多模态功能
## ⚙️ 设置要求
### 必需凭证
– Groq API密钥（用于Qwen 32B模型）
– Google Gemini API密钥（Palm / Gemini 1.5工具）
### 节点设置
需要替换现有凭证的节点：
– 上传文件
– 每个GeminiTool（IMG、VIDEO、AUDIO、DOCUMENT）
– lmChatGroq
## 🛠️ 可选改进
– 添加日志记录和错误处理
– 添加MIME类型过滤以明确选择正确的工具
– 扩展以包括OCR或转录服务预分析
– 与Slack、Telegram或WhatsApp集成进行聊天交付
评论(0)