使用JavaScript在n8n中实现数据去重教程

本教程演示了如何在n8n的Code节点中使用JavaScript逻辑从数据集中删除重复记录。它通过生成包含故意重复项（基于电子邮件地址）的样本用户数据来模拟真实世界的数据清理，并逐步指导您完成去重过程。

### 工作流程概述

该过程包括：

1. **创建包含重复项的样本数据**
2. **使用filter()和findIndex()基于电子邮件过滤重复项**
3. **显示清理后的结果**，包含前后对比的简单统计信息

这非常适合CRM导入、ETL流程和一般数据卫生等场景。

### ⚙️ 设置步骤

#### 🔹 步骤1：手动触发器
– **节点**: When clicking ‘Test workflow’
– **目的**: 手动启动工作流程进行测试

#### 🔹 步骤2：生成样本数据
– **节点**: Create Sample Data (Code节点)
– **功能**:
– 创建6个用户，包括2个故意重复项（通过电子邮件）
– 将数据输出为usersJson，包含元数据（totalCount、message）
– 模拟真实世界的混乱数据集

#### 🔹 步骤3：数据去重
– **节点**: Deduplicate Users (Code节点)
– **功能**:
– 解析usersJson
– 使用.filter() + .findIndex()仅保留每个电子邮件的第一个实例
– 记录总计、唯一和删除的数量
– 将清理后的用户列表输出为单独的项目

#### 🔹 步骤4：显示结果
– **节点**: Display Results (Code节点)
– **功能**:
– 输出结构化摘要：
– 唯一用户
– 状态
– 时间戳
– 准备结果以供审查或下游使用

### 📈 样本输出

– **原始计数**: 6个用户
– **去重后计数**: 4个用户
– **删除的重复项**: 2个用户

### 🎯 学习目标

您将学习如何：

– 在n8n Code节点中使用.filter()和.findIndex()
– 在工作流程中清理JSON数据
– 创建简单有效的去重管道
– 为报告或集成输出结构化摘要

### 🧠 最佳实践

– 验证输入格式（例如JSON模式）
– 优雅处理null或缺失字段
– 使用日志记录以提高可见性
– 为生产使用添加错误处理
– 对大型数据集使用分页/分块

### 节点详细信息

工作流包含以下节点：
– **Manual Trigger** – 手动启动工作流
– **Code** – 执行JavaScript代码逻辑
– **Sticky Note** – 提供文档和说明

### 实际应用场景

这个数据去重工作流非常适合：
– CRM系统数据导入前的清理
– 防止数据库中的重复条目
– 数据质量改进
– ETL管道清理
– 任何需要确保数据唯一性的场景