1 line
15 KiB
JSON
1 line
15 KiB
JSON
{"repo": "alruinous/crowdhub", "files": {"ai_annotate/README.md": {"0eb8e19d3f10d99e335a0834b5b8fda54da2437e": {"t": 1785747276.520162, "n": 2916, "h": "ff9ffc298882ad67", "c": "# AI 标注任务需求向量生成工具\n\n使用 DeepSeek API 自动为科教资源数据生成任务需求向量。\n\n## 功能\n\n- 读取 Excel 文件中的科教资源数据\n- 调用 DeepSeek API 分析每条数据的领域需求\n- 生成 22 维需求向量（每个维度对应一个科技领域，取值 0-1）\n- 支持断点续传\n- 自动保存进度\n\n## 安装依赖\n\n```bash\npip install pandas openpyxl openai python-dotenv\n```\n\n## 配置 API Key\n\n### 方法 1：环境变量（推荐）\n\n在项目根目录的 `.env` 文件中添加：\n\n```env\nDEEPSEEK_API_KEY=your_api_key_here\n```\n\n### 方法 2：命令行参数\n\n```bash\npython generate_requirement_vectors.py input.xlsx -k your_api_key_here\n```\n\n## 使用方法\n\n### 基本用法\n\n```bash\npython generate_requirement_vectors.py 原【科创筑梦】科教资源清单20250929.xlsx\n```\n\n输出文件默认为：`原【科创筑梦】科教资源清单20250929_with_vectors.xlsx`\n\n### 指定输出文件\n\n```bash\npython generate_requirement_vectors.py input.xlsx -o output.xlsx\n```\n\n### 测试模式（只处理前 10 条）\n\n```bash\npython generate_requirement_vectors.py input.xlsx -m 10\n```\n\n### 断点续传\n\n如果处理过程中断，重新运行相同命令即可继续：\n\n```bash\npython generate_requirement_vectors.py input.xlsx -o output.xlsx\n```\n\n程序会自动检测已处理的行数并继续。\n\n### 中途停止\n\n**方法**：按 `Ctrl + C` 停止程序\n\n**效果**：\n- 已完成的批次数据已自动保存\n- 重新运行相同命令可继续处理\n- 当前批次（最后10条）可能需要重新处理\n\n**恢复处理**：\n```bash\n# 直接重新运行相同命令\npython generate_requirement_vectors.py input.xlsx -o output.xlsx\n# 程序会显示：从第 XX 行继续处理\n```\n\n### 调整 API 调用频率\n\n```bash\n# 每次调用间隔 1 秒（避免超过速率限制）\npython generate_requirement_vectors.py input.xlsx -d 1.0\n```\n\n## 参数说明\n\n| 参数 | 简写 | 说明 | 默认值 |\n|------|------|------|--------|\n| `input_file` | - | 输入的 Excel 文件路径（必需） | - |\n| `--output` | `-o` | 输出文件路径 | `{input}_with_vectors.xlsx` |\n| `--api-key` | `-k` | DeepSeek API Key | 从环境变量读取 |\n| `--start` | `-s` | 起始行号（断点续传） | 0 |\n| `--max-rows` | `-m` | 最多处理多少行（测试用） | 全部 |\n| `--batch-size` | `-b` | 每次批量处理的数据条数 | 10 |\n| `--delay` | `-d` | 每次 API 调用间隔（秒） | 0.5 |\n\n## 输出格式\n\n生成的 Excel 文件会在原有列基础上添加：\n**requirementVector**：需求向量的 JSON 字符串\n```json\n{\n \"天文地理\": 0.7,\n \"历史文明\": 0.3,\n \"工业技术\": 0.4,\n ...\n}\n```\n2. **vector_length**：向量长度（固定为 22）\n\n## 向量评分标准\n\n- **0.0-0.3**：几乎不需要该领域知识\n- **0.3-0.5**：需要基础的该领域知识\n- **0.5-0.7**：需要较强的该领域知识\n- **0.7-1.0**：需要专业级的该领域知识\n\n## 22 个科技领域\n\n1. 天文地理\n2. 历史文明\n3. 工业技术\n4. 数学\n5. 物理\n6. 化学\n7. 环境科学\n8. 能源科技\n9. 军事科技\n10. 建筑水利\n11. 交通运输\n12. 农林牧渔\n13. 航空航天航海\n14. 健康管理\n15. 临床知识\n16. 安全科学\n17. 信息技术\n18. 生物学\n19. 材料科学\n20. 科学家\n21. 科学科幻\n22. 其他\n\n## 注意事项\n\n1. **API 限制**：DeepSeek API 有调用频率限制，建议设置适当的延迟\n2. **成本**：处理 7000 条数据约需调用 7000 次 API\n3. **进度保存**：程序每处理 10 条数据自动保存一次进度\n4. **批量处理**：默认每次处理 10 条数据，可通过 `-b` 参数调整\n3. **中途停止**：按 `Ctrl+C` 可安全停止，已处理数据已保存，重新运行可继续\n4. **进度保存**：程序每完成一个批次自动保存进度\n5. **错误处理**：如果某批\n\n``测试连接\npython test_connection.py\n\n# 先测试 10 条看效果\npython generate_requirement_vectors.py 原【科创筑梦】科教资源清单20250929.xlsx \\\n -o test_output.xlsx \\\n -m 10\n\n# 完整处理：7000 条数据，每批 10 条\npython generate_requirement_vectors.py 原【科创筑梦】科教资源清单20250929.xlsx \\\n -o 科教资源_with_vectors.xlsx \\\n -b 10\n\n# 如果中途停止（Ctrl+C），重新运行相同命令继续\npython generate_requirement_vectors.py 原【科创筑梦】科教资源清单20250929.xlsx \\\n -o 科教资源_with_vectors.xlsx \\\n -b 10\n```\n\n## 性能参考\n\n**7000 条数据处理时间**：\n- 批量大小 5：约 15 分钟（1400 次 API 调用）\n- 批量大小 10：约 8 分钟（700 次 API 调用）⭐ 推荐\n- 批量大小 15：约 6 分钟（467 次 API 调用）m 10\n```\n"}, "e3e5d8690f6dfdd23ebe7181c755d92f4a42da97": {"t": 1785772096.5346725, "n": 2916, "h": "ff9ffc298882ad67", "c": "# AI 标注任务需求向量生成工具\n\n使用 DeepSeek API 自动为科教资源数据生成任务需求向量。\n\n## 功能\n\n- 读取 Excel 文件中的科教资源数据\n- 调用 DeepSeek API 分析每条数据的领域需求\n- 生成 22 维需求向量（每个维度对应一个科技领域，取值 0-1）\n- 支持断点续传\n- 自动保存进度\n\n## 安装依赖\n\n```bash\npip install pandas openpyxl openai python-dotenv\n```\n\n## 配置 API Key\n\n### 方法 1：环境变量（推荐）\n\n在项目根目录的 `.env` 文件中添加：\n\n```env\nDEEPSEEK_API_KEY=your_api_key_here\n```\n\n### 方法 2：命令行参数\n\n```bash\npython generate_requirement_vectors.py input.xlsx -k your_api_key_here\n```\n\n## 使用方法\n\n### 基本用法\n\n```bash\npython generate_requirement_vectors.py 原【科创筑梦】科教资源清单20250929.xlsx\n```\n\n输出文件默认为：`原【科创筑梦】科教资源清单20250929_with_vectors.xlsx`\n\n### 指定输出文件\n\n```bash\npython generate_requirement_vectors.py input.xlsx -o output.xlsx\n```\n\n### 测试模式（只处理前 10 条）\n\n```bash\npython generate_requirement_vectors.py input.xlsx -m 10\n```\n\n### 断点续传\n\n如果处理过程中断，重新运行相同命令即可继续：\n\n```bash\npython generate_requirement_vectors.py input.xlsx -o output.xlsx\n```\n\n程序会自动检测已处理的行数并继续。\n\n### 中途停止\n\n**方法**：按 `Ctrl + C` 停止程序\n\n**效果**：\n- 已完成的批次数据已自动保存\n- 重新运行相同命令可继续处理\n- 当前批次（最后10条）可能需要重新处理\n\n**恢复处理**：\n```bash\n# 直接重新运行相同命令\npython generate_requirement_vectors.py input.xlsx -o output.xlsx\n# 程序会显示：从第 XX 行继续处理\n```\n\n### 调整 API 调用频率\n\n```bash\n# 每次调用间隔 1 秒（避免超过速率限制）\npython generate_requirement_vectors.py input.xlsx -d 1.0\n```\n\n## 参数说明\n\n| 参数 | 简写 | 说明 | 默认值 |\n|------|------|------|--------|\n| `input_file` | - | 输入的 Excel 文件路径（必需） | - |\n| `--output` | `-o` | 输出文件路径 | `{input}_with_vectors.xlsx` |\n| `--api-key` | `-k` | DeepSeek API Key | 从环境变量读取 |\n| `--start` | `-s` | 起始行号（断点续传） | 0 |\n| `--max-rows` | `-m` | 最多处理多少行（测试用） | 全部 |\n| `--batch-size` | `-b` | 每次批量处理的数据条数 | 10 |\n| `--delay` | `-d` | 每次 API 调用间隔（秒） | 0.5 |\n\n## 输出格式\n\n生成的 Excel 文件会在原有列基础上添加：\n**requirementVector**：需求向量的 JSON 字符串\n```json\n{\n \"天文地理\": 0.7,\n \"历史文明\": 0.3,\n \"工业技术\": 0.4,\n ...\n}\n```\n2. **vector_length**：向量长度（固定为 22）\n\n## 向量评分标准\n\n- **0.0-0.3**：几乎不需要该领域知识\n- **0.3-0.5**：需要基础的该领域知识\n- **0.5-0.7**：需要较强的该领域知识\n- **0.7-1.0**：需要专业级的该领域知识\n\n## 22 个科技领域\n\n1. 天文地理\n2. 历史文明\n3. 工业技术\n4. 数学\n5. 物理\n6. 化学\n7. 环境科学\n8. 能源科技\n9. 军事科技\n10. 建筑水利\n11. 交通运输\n12. 农林牧渔\n13. 航空航天航海\n14. 健康管理\n15. 临床知识\n16. 安全科学\n17. 信息技术\n18. 生物学\n19. 材料科学\n20. 科学家\n21. 科学科幻\n22. 其他\n\n## 注意事项\n\n1. **API 限制**：DeepSeek API 有调用频率限制，建议设置适当的延迟\n2. **成本**：处理 7000 条数据约需调用 7000 次 API\n3. **进度保存**：程序每处理 10 条数据自动保存一次进度\n4. **批量处理**：默认每次处理 10 条数据，可通过 `-b` 参数调整\n3. **中途停止**：按 `Ctrl+C` 可安全停止，已处理数据已保存，重新运行可继续\n4. **进度保存**：程序每完成一个批次自动保存进度\n5. **错误处理**：如果某批\n\n``测试连接\npython test_connection.py\n\n# 先测试 10 条看效果\npython generate_requirement_vectors.py 原【科创筑梦】科教资源清单20250929.xlsx \\\n -o test_output.xlsx \\\n -m 10\n\n# 完整处理：7000 条数据，每批 10 条\npython generate_requirement_vectors.py 原【科创筑梦】科教资源清单20250929.xlsx \\\n -o 科教资源_with_vectors.xlsx \\\n -b 10\n\n# 如果中途停止（Ctrl+C），重新运行相同命令继续\npython generate_requirement_vectors.py 原【科创筑梦】科教资源清单20250929.xlsx \\\n -o 科教资源_with_vectors.xlsx \\\n -b 10\n```\n\n## 性能参考\n\n**7000 条数据处理时间**：\n- 批量大小 5：约 15 分钟（1400 次 API 调用）\n- 批量大小 10：约 8 分钟（700 次 API 调用）⭐ 推荐\n- 批量大小 15：约 6 分钟（467 次 API 调用）m 10\n```\n"}, "74eeee5361bffcfc6ea8fa68dce3d8bcc2cde946": {"t": 1785772099.7739844, "n": 2916, "h": "ff9ffc298882ad67", "c": "# AI 标注任务需求向量生成工具\n\n使用 DeepSeek API 自动为科教资源数据生成任务需求向量。\n\n## 功能\n\n- 读取 Excel 文件中的科教资源数据\n- 调用 DeepSeek API 分析每条数据的领域需求\n- 生成 22 维需求向量（每个维度对应一个科技领域，取值 0-1）\n- 支持断点续传\n- 自动保存进度\n\n## 安装依赖\n\n```bash\npip install pandas openpyxl openai python-dotenv\n```\n\n## 配置 API Key\n\n### 方法 1：环境变量（推荐）\n\n在项目根目录的 `.env` 文件中添加：\n\n```env\nDEEPSEEK_API_KEY=your_api_key_here\n```\n\n### 方法 2：命令行参数\n\n```bash\npython generate_requirement_vectors.py input.xlsx -k your_api_key_here\n```\n\n## 使用方法\n\n### 基本用法\n\n```bash\npython generate_requirement_vectors.py 原【科创筑梦】科教资源清单20250929.xlsx\n```\n\n输出文件默认为：`原【科创筑梦】科教资源清单20250929_with_vectors.xlsx`\n\n### 指定输出文件\n\n```bash\npython generate_requirement_vectors.py input.xlsx -o output.xlsx\n```\n\n### 测试模式（只处理前 10 条）\n\n```bash\npython generate_requirement_vectors.py input.xlsx -m 10\n```\n\n### 断点续传\n\n如果处理过程中断，重新运行相同命令即可继续：\n\n```bash\npython generate_requirement_vectors.py input.xlsx -o output.xlsx\n```\n\n程序会自动检测已处理的行数并继续。\n\n### 中途停止\n\n**方法**：按 `Ctrl + C` 停止程序\n\n**效果**：\n- 已完成的批次数据已自动保存\n- 重新运行相同命令可继续处理\n- 当前批次（最后10条）可能需要重新处理\n\n**恢复处理**：\n```bash\n# 直接重新运行相同命令\npython generate_requirement_vectors.py input.xlsx -o output.xlsx\n# 程序会显示：从第 XX 行继续处理\n```\n\n### 调整 API 调用频率\n\n```bash\n# 每次调用间隔 1 秒（避免超过速率限制）\npython generate_requirement_vectors.py input.xlsx -d 1.0\n```\n\n## 参数说明\n\n| 参数 | 简写 | 说明 | 默认值 |\n|------|------|------|--------|\n| `input_file` | - | 输入的 Excel 文件路径（必需） | - |\n| `--output` | `-o` | 输出文件路径 | `{input}_with_vectors.xlsx` |\n| `--api-key` | `-k` | DeepSeek API Key | 从环境变量读取 |\n| `--start` | `-s` | 起始行号（断点续传） | 0 |\n| `--max-rows` | `-m` | 最多处理多少行（测试用） | 全部 |\n| `--batch-size` | `-b` | 每次批量处理的数据条数 | 10 |\n| `--delay` | `-d` | 每次 API 调用间隔（秒） | 0.5 |\n\n## 输出格式\n\n生成的 Excel 文件会在原有列基础上添加：\n**requirementVector**：需求向量的 JSON 字符串\n```json\n{\n \"天文地理\": 0.7,\n \"历史文明\": 0.3,\n \"工业技术\": 0.4,\n ...\n}\n```\n2. **vector_length**：向量长度（固定为 22）\n\n## 向量评分标准\n\n- **0.0-0.3**：几乎不需要该领域知识\n- **0.3-0.5**：需要基础的该领域知识\n- **0.5-0.7**：需要较强的该领域知识\n- **0.7-1.0**：需要专业级的该领域知识\n\n## 22 个科技领域\n\n1. 天文地理\n2. 历史文明\n3. 工业技术\n4. 数学\n5. 物理\n6. 化学\n7. 环境科学\n8. 能源科技\n9. 军事科技\n10. 建筑水利\n11. 交通运输\n12. 农林牧渔\n13. 航空航天航海\n14. 健康管理\n15. 临床知识\n16. 安全科学\n17. 信息技术\n18. 生物学\n19. 材料科学\n20. 科学家\n21. 科学科幻\n22. 其他\n\n## 注意事项\n\n1. **API 限制**：DeepSeek API 有调用频率限制，建议设置适当的延迟\n2. **成本**：处理 7000 条数据约需调用 7000 次 API\n3. **进度保存**：程序每处理 10 条数据自动保存一次进度\n4. **批量处理**：默认每次处理 10 条数据，可通过 `-b` 参数调整\n3. **中途停止**：按 `Ctrl+C` 可安全停止，已处理数据已保存，重新运行可继续\n4. **进度保存**：程序每完成一个批次自动保存进度\n5. **错误处理**：如果某批\n\n``测试连接\npython test_connection.py\n\n# 先测试 10 条看效果\npython generate_requirement_vectors.py 原【科创筑梦】科教资源清单20250929.xlsx \\\n -o test_output.xlsx \\\n -m 10\n\n# 完整处理：7000 条数据，每批 10 条\npython generate_requirement_vectors.py 原【科创筑梦】科教资源清单20250929.xlsx \\\n -o 科教资源_with_vectors.xlsx \\\n -b 10\n\n# 如果中途停止（Ctrl+C），重新运行相同命令继续\npython generate_requirement_vectors.py 原【科创筑梦】科教资源清单20250929.xlsx \\\n -o 科教资源_with_vectors.xlsx \\\n -b 10\n```\n\n## 性能参考\n\n**7000 条数据处理时间**：\n- 批量大小 5：约 15 分钟（1400 次 API 调用）\n- 批量大小 10：约 8 分钟（700 次 API 调用）⭐ 推荐\n- 批量大小 15：约 6 分钟（467 次 API 调用）m 10\n```\n"}}}} |