智能网站内容爬取与知识库构建工作流

这个高级工作流充当轻量级网络爬虫：它从网站首页抓取所有内部链接（模拟站点地图提取），去重并验证链接，将图片资源与文本页面分离，然后将非图片页面内容获取并转换为干净的Markdown格式。结果无缝附加到Google Sheets中，便于分析、导出或集成到向量数据库中。

## 🔧 核心功能

– **自动发现和处理子页面链接**：从首页自动发现并处理子页面链接
– **智能过滤和去重**：过滤掉重复项和非HTTP链接以提高爬取效率
– **内容格式转换**：将抓取的内容转换为Markdown格式，为AI应用做好准备
– **分类存储**：将图片、链接和完整内容按站点分类存储在单个表格行中

## 🛠️ 技术节点组成

该工作流包含以下核心节点：
– **HTTP Request节点**：用于发送HTTP请求获取网页内容
– **If节点**：条件判断和过滤逻辑
– **Edit Fields (Set)节点**：字段编辑和数据设置
– **SplitInBatches节点**：批量分割处理
– **RSSFeedRead节点**：RSS源读取
– **Merge节点**：数据合并
– **DateTime节点**：日期时间处理
– **SplitOut节点**：数据拆分输出

## 📋 前置要求

– 具有Sheets访问权限的Google账户用于数据存储
– n8n实例（云端或自托管）
– 对URL和网络链接的基本理解

## 🔑 必需凭证

**Google Sheets OAuth2 API设置**
1. 访问console.cloud.google.com → APIs & Services → Credentials
2. 点击”Create Credentials” → 选择”OAuth client ID” → 选择”Web application”
3. 添加授权重定向URI：https://your-n8n-instance.com/rest/oauth2-credential/callback（替换为您的n8n URL）
4. 下载客户端ID和密钥，然后添加到n8n作为”Google Sheets OAuth2 API”凭证类型
5. 在设置期间，授予对Google Sheets范围（例如spreadsheets）的访问权限，并通过列出表格来测试连接

## ⚙️ 配置步骤

1. 将工作流JSON导入到您的n8n实例中
2. 在”Set Website”节点中，将website_url值更新为目标站点（例如https://example.com）
3. 将您的Google Sheets凭证分配给三个”Add … to Sheet”节点
4. 更新这些节点中的documentId和sheetName以匹配目标电子表格ID和表格名称/ID
5. 确保您的表格具有列：”Website”、”Links”、”Scraped Content”、”Images”
6. 激活工作流并手动触发以测试爬取功能

## 🎯 应用场景

– **知识库创建**：抓取公司网站将所有内容聚合到Sheets中，然后导出到Notion或向量数据库用于内部维基
– **AI代理训练**：从行业网站提取结构化Markdown，用于在领域特定数据（如法律文档或技术博客）上微调LLM
– **竞争情报**：通过抓取竞争对手网站，分离资产和文本用于SEO审计或市场分析来构建档案
– **内容归档**：将动态站点（例如新闻门户）保存为静态知识转储，用于合规性或历史研究

## ⚠️ 故障排除

– **未提取链接**：验证首页是否有标签；使用简单站点如example.com测试，并在执行中检查HTTP响应
– **表格更新失败**：确认列名完全匹配（区分大小写）且凭证具有编辑权限；尝试新的空白表格
– **内容被截断**：Google Sheets限制单元格约50k字符—调整”Add Scraped Content to Sheet”中的.slice(0, 50000)或拆分为多行
– **速率限制错误**：如果在”Scrape Links”后站点阻止快速请求，添加带有1-2秒延迟的”Wait”节点