从Pinecone到Weaviate的向量索引迁移工具

这个n8n工作流是一个专业的向量数据迁移工具，专门用于将向量索引从Pinecone平台迁移到Weaviate向量数据库。

## 工作流程详解

### 核心功能
– **定时触发**：通过Schedule Trigger每15秒执行一次迁移任务
– **分页处理**：支持大规模向量数据的批量迁移，每批次最多100个向量
– **状态管理**：使用Airtable记录分页令牌，确保迁移过程的连续性
– **数据转换**：将Pinecone向量格式转换为Weaviate兼容格式

### 技术实现
1. **参数配置**：设置源索引URL、命名空间、批次限制、目标集合和Weaviate集群信息
2. **分页控制**：通过Airtable存储和更新next page token
3. **向量获取**：从Pinecone批量获取向量数据
4. **格式转换**：将Pinecone向量格式转换为Weaviate对象格式
5. **数据加载**：将转换后的数据批量导入Weaviate

### 关键节点说明
– **Schedule Trigger**：定时触发迁移任务
– **Parameters**：配置迁移参数
– **Airtable**：存储分页状态
– **HTTP Request**：与Pinecone和Weaviate API交互
– **Code**：数据格式转换逻辑
– **If**：条件判断和流程控制

## 配置要求

### 必需参数
– 源索引URL（Pinecone索引端点）
– 源命名空间（Pinecone命名空间）
– 批次限制（每批次向量数量，最大100）
– 目标集合名称（Weaviate类名）
– Weaviate集群REST端点

### 初始化要求
Airtable表必须包含初始记录（INIT, 0），用于管理分页状态。

## 应用场景

– 向量数据库迁移项目
– 多向量数据库环境的数据同步
– AI应用的数据架构升级
– 机器学习项目的向量存储优化

## 技术优势

– **自动化分页**：自动处理大规模数据的分页迁移
– **错误恢复**：通过状态管理支持中断恢复
– **格式兼容**：确保不同向量数据库间的数据格式兼容性
– **可扩展性**：支持大规模向量数据的批量迁移