## 工作流概述
这个自动化n8n工作流使用Apify从Upwork抓取职位列表，处理并清理数据，然后生成包含职位摘要的每日邮件报告。该系统使用Google Sheets进行数据存储和关键词管理，为跟踪相关职位机会和市场趋势提供了全面的解决方案。
## Apify是什么？
Apify是一个网络抓取和自动化平台，为从像Upwork这样的网站提取数据提供可靠的API。它处理网络抓取的复杂性，包括速率限制、代理管理和数据提取，同时保持对网站服务条款的合规性。
## 重要提示
– Apify API调用可能根据使用情况产生费用；请查看Apify定价了解详情
– Google Sheets访问必须正确授权以避免数据同步问题
– 工作流包括数据清理和去重以确保高质量结果
– 邮件报告提供结构化摘要，便于审查和决策
– 通过Google Sheets进行关键词管理允许灵活的职位目标定位
## 工作原理
工作流分为三个主要阶段：
### 阶段1：职位抓取与初始处理
此阶段处理核心数据收集和初始存储：
– **手动触发运行** – 手动启动工作流进行按需职位抓取
– **从Google Sheets获取关键词** – 从”所有关键词”表格读取职位相关关键词列表
– **循环遍历关键词** – 遍历每个关键词以触发Apify抓取
– **触发Apify抓取器** – 发送HTTP请求启动Apify执行器进行职位抓取
– **等待Apify完成** – 等待Apify执行器完成执行
– **数据集读取前延迟** – 等待几秒钟确保数据集准备好处理
– **获取抓取的职位数据集** – 从Apify获取最新数据集
– **处理原始职位数据** – 过滤过去24小时内发布的职位并格式化数据
– **保存职位到每日表格** – 将新职位数据追加到每日Google Sheets
– **更新关键词职位计数** – 在”所有关键词”摘要表格中更新职位计数
### 阶段2：数据清理与去重
此阶段确保数据质量并移除重复项：
– **加载今日每日职位** – 加载今日表格中添加的所有职位进行处理
– **按标题/描述移除重复项** – 基于标题和描述匹配移除重复项
– **保存清理后的职位数据** – 将清理后的唯一条目保存回表格
– **清除旧每日表格数据** – 从表格中删除旧或重复条目
– **重新加载清理后的职位数据** – 删除后再次加载清理数据以进行最终处理
### 阶段3：每日摘要与邮件报告
此阶段生成摘要并交付最终报告：
– **生成关键词摘要统计** – 计算每个关键词的职位总数进行分析
– **更新摘要表格** – 使用关键词统计数据更新摘要表格
– **获取最终摘要数据** – 读取摘要表格用于报告目的
– **构建邮件正文** – 使用统计数据和表格链接格式化邮件
– **发送每日报告邮件** – 将结构化每日摘要邮件发送给收件人
## 数据源
工作流利用Google Sheets进行数据管理：
### AI关键词表格 – 包含关键词管理数据，列包括：
– 关键词（文本）- 职位搜索词
– 职位计数（数字）- 每个关键词找到的职位数量
– 状态（文本）- 活跃/非活跃状态
– 最后更新（时间戳）- 关键词最后处理时间
### 每日职位表格 – 包含抓取的职位数据，列包括：
– 职位标题（文本）- 职位发布标题
– 描述（文本）- 职位描述内容
– 预算（文本）- 职位预算或小时费率
– 客户评分（数字）- 客户在Upwork上的评分
– 发布日期（时间戳）- 职位发布时间
– 职位URL（文本）- 职位发布的直接链接
– 关键词（文本）- 找到此职位的关键词
– 抓取时间（时间戳）- 数据收集时间
### 摘要表格 – 包含每日统计数据，列包括：
– 日期（日期）- 报告日期
– 总职位数（数字）- 找到的总职位数
– 处理的关键词数（数字）- 搜索的关键词数量
– 顶级关键词（文本）- 最高产的关键词
– 平均预算（货币）- 平均职位预算
– 报告生成时间（时间戳）- 摘要创建时间
## 如何使用
1. 将工作流导入n8n
2. 配置Apify API凭据和Google Sheets API访问
3. 设置邮件凭据用于每日报告交付
4. 创建三个具有指定列结构的Google Sheets
5. 将相关职位关键词添加到AI关键词表格
6. 使用示例关键词进行测试并根据需要调整
## 要求
– Apify API凭据和执行器访问权限
– Google Sheets API访问权限
– 邮件服务凭据（Gmail、SMTP等）
– Upwork职位搜索关键词用于目标定位
## 自定义此工作流
修改”处理原始职位数据”节点以按额外标准过滤职位，如预算范围、客户评分或职位类型。调整邮件报告格式以包含更详细的统计数据或添加视觉辅助工具，如图表。自定义数据清理逻辑以更好地处理基于您特定要求的重复检测，或添加Upwork之外的额外数据源以进行全面的职位市场分析。
评论(0)