使用n8n构建AI回答相似度评估系统

## 工作原理

这种评估方法最适合封闭式问题或关于事实的问题，其中答案可以有很少或没有偏差。

对于我们的评分，我们为AI的响应和真实答案生成嵌入向量，并计算它们之间的余弦相似度。
高分表示LLM与预期结果的一致性，而低分可能表示模型幻觉。

## 技术实现

该工作流通过以下步骤实现相似度评估：

1. **数据输入**：从Google Sheets获取评估数据集，包含问题和对应的真实答案
2. **AI回答生成**：使用OpenAI GPT-4模型处理输入问题
3. **嵌入向量生成**：
– 为AI的回答生成嵌入向量
– 为真实答案生成嵌入向量
4. **相似度计算**：通过余弦相似度算法比较两个嵌入向量
5. **结果输出**：将评分结果更新到Google Sheets并记录指标

## 核心节点

– **评估触发器**：从Google Sheets拉取评估数据集
– **AI代理**：使用OpenAI GPT-4模型生成回答
– **HTTP请求**：调用OpenAI API生成嵌入向量
– **代码节点**：实现余弦相似度计算算法
– **评估节点**：更新评分结果和指标

## 应用场景

– AI模型质量评估
– 聊天机器人一致性测试
– 问答系统性能监控
– 模型幻觉检测

## 技术要求

– n8n版本1.94+
– OpenAI API密钥
– Google Sheets集成