hack/tools/scripts/llm-key-hunter/results/_cache/content/allwefantasy_super-analysis-doc.json

{"repo": "allwefantasy/super-analysis-doc", "files": {"README.md": {"8841be815fed2af8a0f6ffb9ef0d1654537eb77a": {"t": 1785746367.9441218, "n": 2603, "h": "630e4435cc690422", "c": "\n# 🚀 Super Analysis 部署指南\n\n本指南将帮助你部署 Super Analysis 系统，包括安装必要组件、配置服务和启动系统。\n\n---\n\n## 📦 安装 Super Analysis\n\n\n```bash\npip install -U auto-coder\npip install -U super-analysis\n```\n\n---\n\n## 🤖 部署 Deepseek 模型代理\n\n在启动其他服务之前，我们需要先部署 Deepseek 模型：\n\n```bash\nbyzerllm deploy --pretrained_model_type saas/openai \\\n--cpus_per_worker 0.001 \\\n--gpus_per_worker 0 \\\n--worker_concurrency 1000 \\\n--num_workers 1 \\\n--infer_params saas.base_url=\"https://api.deepseek.com/v1\" saas.api_key=${MODEL_DEEPSEEK_TOKEN} saas.model=deepseek-chat \\\n--model deepseek_chat\n```\n\n注意：确保已设置环境变量 `MODEL_DEEPSEEK_TOKEN`。\n\n---\n\n## 架构图\n\n![架构图](./image.png)\n\n---\n\n## 🛠️ 部署 Byzer-SQL\n\n参考 [安装与配置 Byzer-SQL 文档](./docs/4.3.1%20安装与配置%20Byzer-SQL.pdf) 完成部署,特别注意的使用 **手工** 部署的方式最为简洁。\n根据 [Byzer-SQL 和大模型整合文档](./docs//4.2.1.3%20Byzer-SQL%20和大模型的整合.pdf) 中安装插件，然后注册 `deepseek_chat` 函数。\n\n> 启动时需要在安装有 super-analysis 的 conda 环境中启动。\n\n当 byzer-sql 部署完成后，注册账号为 `hello`，然后在 byzer-sql 控制台中执行：\n\n```sql\n!byzerllm setup single;\n\nrun command as LLM.`` where \naction=\"infer\"\nand reconnect=\"true\"\nand pretrainedModelType=\"saas/openai\"\nand udfName=\"deepseek_chat\";\n```\n\n---\n\n## 示例数据\n\n下载电影数据集： https://www.kaggle.com/datasets/rounakbanik/the-movies-dataset/download?datasetVersionNumber=7\n\n---\n\n> 下面的指令都是在命令行里操作哈\n\n## 📊 数据预处理和服务启动\n\n1. 抽取电影数据集schema：\n\n```bash\nsuper-analysis.convert --data_dir /Users/allwefantasy/data/movice --doc_dir /Users/allwefantasy/data/movice/schemas/\n```\n\n你还可以添加 --include-rows-num 5 让系统在生成 schema 文档时同时提供一些示例数据。方便大模型更好的对这个表进行认知。\n\n\n2. 启动 schema 文档知识库：\n\n```bash\nauto-coder.rag serve \\\n--model deepseek_chat --index_filter_workers 100 \\\n--tokenizer_path /Users/allwefantasy/Downloads/tokenizer.json \\\n--doc_dir /Users/allwefantasy/data/movice/schemas/ \\\n--port 8001\n```\n\n3. 下载 Byzer-SQL 文档并启动文档知识库：\n\n```bash\ngit clone https://github.com/allwefantasy/llm_friendly_packages\n\nauto-coder.rag serve \\\n--model deepseek_chat --index_filter_workers 100 \\\n--tokenizer_path /Users/allwefantasy/Downloads/tokenizer.json \\\n--doc_dir  /Users/allwefantasy/projects/llm_friendly_packages/github.com/allwefantasy \\\n--port 8002\n```\n\n4. 启动兼容 OpenAI Server 的分析服务：\n\n```bash\nsuper-analysis.serve --served-model-name deepseek_chat --port 8000 \\\n--schema-rag-base-url http://127.0.0.1:8001/v1 \\\n--context-rag-base-url http://127.0.0.1:8002/v1 \\\n--byzer-sql-url http://127.0.0.1:9003/run/script\n```\n\n你可以通过 `--sql-func-llm-model` 函数单独为 SQL 函数指定模型(比如配置一个速度极快的模型)。注意，同样的，你需要在 Byzer-SQL 中注册这个函数。\n\n---\n\n现在，Super Analysis 系统已经完全部署并启动。你可以开始使用 OpenAI SDK 进行测试和接口调用。具体测试和接口使用方法请参考 [openai_local_api.ipynb](./openai_local_api.ipynb)。\n\n\n🎉 恭喜！你已经成功部署了 Super Analysis 系统。如有任何问题，请随时查阅文档或联系支持团队。"}, "221649ddb037de3f5a7c0d63e7d50cfc118866cc": {"t": 1785762821.7742262, "n": 2578, "h": "25a8161abf3ef968", "c": "\n# 🚀 Super Analysis 部署指南\n\n本指南将帮助你部署 Super Analysis 系统，包括安装必要组件、配置服务和启动系统。\n\n---\n\n## 📦 安装 Super Analysis\n\n\n```bash\npip install -U auto-coder\npip install -U super-analysis\n```\n\n---\n\n## 🤖 部署 Deepseek 模型代理\n\n在启动其他服务之前，我们需要先部署 Deepseek 模型：\n\n```bash\nbyzerllm deploy --pretrained_model_type saas/openai \\\n--cpus_per_worker 0.001 \\\n--gpus_per_worker 0 \\\n--worker_concurrency 1000 \\\n--num_workers 1 \\\n--infer_params saas.base_url=\"https://api.deepseek.com/v1\" saas.api_key=${MODEL_DEEPSEEK_TOKEN} saas.model=deepseek-chat \\\n--model deepseek_chat\n```\n\n注意：确保已设置环境变量 `MODEL_DEEPSEEK_TOKEN`。\n\n---\n\n## 架构图\n\n![架构图](./image.png)\n\n---\n\n## 🛠️ 部署 Byzer-SQL\n\n参考 [安装与配置 Byzer-SQL 文档](./docs/4.3.1%20安装与配置%20Byzer-SQL.pdf) 完成部署。\n根据 [Byzer-SQL 和大模型整合文档](./docs//4.2.1.3%20Byzer-SQL%20和大模型的整合.pdf) 中安装插件，然后注册 `deepseek_chat` 函数。\n\n> 启动时需要在安装有 super-analysis 的 conda 环境中启动。\n\n当 byzer-sql 部署完成后，注册账号为 `hello`，然后在 byzer-sql 控制台中执行：\n\n```sql\n!byzerllm setup single;\n\nrun command as LLM.`` where \naction=\"infer\"\nand reconnect=\"true\"\nand pretrainedModelType=\"saas/openai\"\nand udfName=\"deepseek_chat\";\n```\n\n---\n\n## 示例数据\n\n下载电影数据集： https://www.kaggle.com/datasets/rounakbanik/the-movies-dataset/download?datasetVersionNumber=7\n\n---\n\n> 下面的指令都是在命令行里操作哈\n\n## 📊 数据预处理和服务启动\n\n1. 抽取电影数据集schema：\n\n```bash\nsuper-analysis.convert --data_dir /Users/allwefantasy/data/movice --doc_dir /Users/allwefantasy/data/movice/schemas/\n```\n\n你还可以添加 --include-rows-num 5 让系统在生成 schema 文档时同时提供一些示例数据。方便大模型更好的对这个表进行认知。\n\n\n2. 启动 schema 文档知识库：\n\n```bash\nauto-coder.rag serve \\\n--model deepseek_chat --index_filter_workers 100 \\\n--tokenizer_path /Users/allwefantasy/Downloads/tokenizer.json \\\n--doc_dir /Users/allwefantasy/data/movice/schemas/ \\\n--port 8001\n```\n\n3. 下载 Byzer-SQL 文档并启动文档知识库：\n\n```bash\ngit clone https://github.com/allwefantasy/llm_friendly_packages\n\nauto-coder.rag serve \\\n--model deepseek_chat --index_filter_workers 100 \\\n--tokenizer_path /Users/allwefantasy/Downloads/tokenizer.json \\\n--doc_dir  /Users/allwefantasy/projects/llm_friendly_packages/github.com/allwefantasy \\\n--port 8002\n```\n\n4. 启动兼容 OpenAI Server 的分析服务：\n\n```bash\nsuper-analysis.serve --served-model-name deepseek_chat --port 8000 \\\n--schema-rag-base-url http://127.0.0.1:8001/v1 \\\n--context-rag-base-url http://127.0.0.1:8002/v1 \\\n--byzer-sql-url http://127.0.0.1:9003/run/script\n```\n\n你可以通过 `--sql-func-llm-model` 函数单独为 SQL 函数指定模型(比如配置一个速度极快的模型)。注意，同样的，你需要在 Byzer-SQL 中注册这个函数。\n\n---\n\n现在，Super Analysis 系统已经完全部署并启动。你可以开始使用 OpenAI SDK 进行测试和接口调用。具体测试和接口使用方法请参考 [openai_local_api.ipynb](./openai_local_api.ipynb)。\n\n\n🎉 恭喜！你已经成功部署了 Super Analysis 系统。如有任何问题，请随时查阅文档或联系支持团队。"}, "d9bb4be92fafad21498aa8b196c2d7b2fcd479e4": {"t": 1785762824.5487454, "n": 2543, "h": "c2ec4e0246424f1f", "c": "\n# 🚀 Super Analysis 部署指南\n\n本指南将帮助你部署 Super Analysis 系统，包括安装必要组件、配置服务和启动系统。\n\n---\n\n## 📦 安装 Super Analysis\n\n\n```bash\npip install -U auto-coder\npip install -U super-analysis\n```\n\n---\n\n## 🤖 部署 Deepseek 模型代理\n\n在启动其他服务之前，我们需要先部署 Deepseek 模型：\n\n```bash\nbyzerllm deploy --pretrained_model_type saas/openai \\\n--cpus_per_worker 0.001 \\\n--gpus_per_worker 0 \\\n--worker_concurrency 1000 \\\n--num_workers 1 \\\n--infer_params saas.base_url=\"https://api.deepseek.com/v1\" saas.api_key=${MODEL_DEEPSEEK_TOKEN} saas.model=deepseek-chat \\\n--model deepseek_chat\n```\n\n注意：确保已设置环境变量 `MODEL_DEEPSEEK_TOKEN`。\n\n---\n\n## 🛠️ 部署 Byzer-SQL\n\n参考 [安装与配置 Byzer-SQL 文档](./docs/4.3.1%20安装与配置%20Byzer-SQL.pdf) 完成部署。\n根据 [Byzer-SQL 和大模型整合文档](./docs//4.2.1.3%20Byzer-SQL%20和大模型的整合.pdf) 中安装插件，然后注册 `deepseek_chat` 函数。\n\n> 启动时需要在安装有 super-analysis 的 conda 环境中启动。\n\n当 byzer-sql 部署完成后，注册账号为 `hello`，然后在 byzer-sql 控制台中执行：\n\n```sql\n!byzerllm setup single;\n\nrun command as LLM.`` where \naction=\"infer\"\nand reconnect=\"true\"\nand pretrainedModelType=\"saas/openai\"\nand udfName=\"deepseek_chat\";\n```\n\n---\n\n## 示例数据\n\n下载电影数据集： https://www.kaggle.com/datasets/rounakbanik/the-movies-dataset/download?datasetVersionNumber=7\n\n---\n\n> 下面的指令都是在命令行里操作哈\n\n## 📊 数据预处理和服务启动\n\n1. 抽取电影数据集schema：\n\n```bash\nsuper-analysis.convert --data_dir /Users/allwefantasy/data/movice --doc_dir /Users/allwefantasy/data/movice/schemas/\n```\n\n你还可以添加 --include-rows-num 5 让系统在生成 schema 文档时同时提供一些示例数据。方便大模型更好的对这个表进行认知。\n\n\n2. 启动 schema 文档知识库：\n\n```bash\nauto-coder.rag serve \\\n--model deepseek_chat --index_filter_workers 100 \\\n--tokenizer_path /Users/allwefantasy/Downloads/tokenizer.json \\\n--doc_dir /Users/allwefantasy/data/movice/schemas/ \\\n--port 8001\n```\n\n3. 下载 Byzer-SQL 文档并启动文档知识库：\n\n```bash\ngit clone https://github.com/allwefantasy/llm_friendly_packages\n\nauto-coder.rag serve \\\n--model deepseek_chat --index_filter_workers 100 \\\n--tokenizer_path /Users/allwefantasy/Downloads/tokenizer.json \\\n--doc_dir  /Users/allwefantasy/projects/llm_friendly_packages/github.com/allwefantasy \\\n--port 8002\n```\n\n4. 启动兼容 OpenAI Server 的分析服务：\n\n```bash\nsuper-analysis.serve --served-model-name deepseek_chat --port 8000 \\\n--schema-rag-base-url http://127.0.0.1:8001/v1 \\\n--context-rag-base-url http://127.0.0.1:8002/v1 \\\n--byzer-sql-url http://127.0.0.1:9003/run/script\n```\n\n你可以通过 `--sql-func-llm-model` 函数单独为 SQL 函数指定模型(比如配置一个速度极快的模型)。注意，同样的，你需要在 Byzer-SQL 中注册这个函数。\n\n---\n\n现在，Super Analysis 系统已经完全部署并启动。你可以开始使用 OpenAI SDK 进行测试和接口调用。具体测试和接口使用方法请参考 [openai_local_api.ipynb](./openai_local_api.ipynb)。\n\n🎉 恭喜！你已经成功部署了 Super Analysis 系统。如有任何问题，请随时查阅文档或联系支持团队。"}, "0293cc7a8c81ed1425ea3b8295dc178034239954": {"t": 1785762828.5709152, "n": 2580, "h": "35560daa85135f67", "c": "\n# 🚀 Super Analysis 部署指南\n\n本指南将帮助你部署 Super Analysis 系统，包括安装必要组件、配置服务和启动系统。\n\n---\n\n## 📦 安装 Super Analysis\n\n\n```bash\npip install -U auto-coder\npip install super_analysis-xxxx-py3-none-any.whl\n```\n\n注意替换下 xxxx 为版本号。\n\n---\n\n## 🤖 部署 Deepseek 模型代理\n\n在启动其他服务之前，我们需要先部署 Deepseek 模型：\n\n```bash\nbyzerllm deploy --pretrained_model_type saas/openai \\\n--cpus_per_worker 0.001 \\\n--gpus_per_worker 0 \\\n--worker_concurrency 1000 \\\n--num_workers 1 \\\n--infer_params saas.base_url=\"https://api.deepseek.com/v1\" saas.api_key=${MODEL_DEEPSEEK_TOKEN} saas.model=deepseek-chat \\\n--model deepseek_chat\n```\n\n注意：确保已设置环境变量 `MODEL_DEEPSEEK_TOKEN`。\n\n---\n\n## 🛠️ 部署 Byzer-SQL\n\n参考 [安装与配置 Byzer-SQL 文档](./docs/4.3.1%20安装与配置%20Byzer-SQL.pdf) 完成部署。\n根据 [Byzer-SQL 和大模型整合文档](./docs//4.2.1.3%20Byzer-SQL%20和大模型的整合.pdf) 中安装插件，然后注册 `deepseek_chat` 函数。\n\n> 启动时需要在安装有 super-analysis 的 conda 环境中启动。\n\n当 byzer-sql 部署完成后，注册账号为 `hello`，然后在 byzer-sql 控制台中执行：\n\n```sql\n!byzerllm setup single;\n\nrun command as LLM.`` where \naction=\"infer\"\nand reconnect=\"true\"\nand pretrainedModelType=\"saas/openai\"\nand udfName=\"deepseek_chat\";\n```\n\n---\n\n## 示例数据\n\n下载电影数据集： https://www.kaggle.com/datasets/rounakbanik/the-movies-dataset/download?datasetVersionNumber=7\n\n---\n\n> 下面的指令都是在命令行里操作哈\n\n## 📊 数据预处理和服务启动\n\n1. 抽取电影数据集schema：\n\n```bash\nsuper-analysis.convert --data_dir /Users/allwefantasy/data/movice --doc_dir /Users/allwefantasy/data/movice/schemas/\n```\n\n你还可以添加 --include-rows-num 5 让系统在生成 schema 文档时同时提供一些示例数据。方便大模型更好的对这个表进行认知。\n\n\n2. 启动 schema 文档知识库：\n\n```bash\nauto-coder.rag serve \\\n--model deepseek_chat --index_filter_workers 100 \\\n--tokenizer_path /Users/allwefantasy/Downloads/tokenizer.json \\\n--doc_dir /Users/allwefantasy/data/movice/schemas/ \\\n--port 8001\n```\n\n3. 下载 Byzer-SQL 文档并启动文档知识库：\n\n```bash\ngit clone https://github.com/allwefantasy/llm_friendly_packages\n\nauto-coder.rag serve \\\n--model deepseek_chat --index_filter_workers 100 \\\n--tokenizer_path /Users/allwefantasy/Downloads/tokenizer.json \\\n--doc_dir  /Users/allwefantasy/projects/llm_friendly_packages/github.com/allwefantasy \\\n--port 8002\n```\n\n4. 启动兼容 OpenAI Server 的分析服务：\n\n```bash\nsuper-analysis.serve --served-model-name deepseek_chat --port 8000 \\\n--schema-rag-base-url http://127.0.0.1:8001/v1 \\\n--context-rag-base-url http://127.0.0.1:8002/v1 \\\n--byzer-sql-url http://127.0.0.1:9003/run/script\n```\n\n你可以通过 `--sql-func-llm-model` 函数单独为 SQL 函数指定模型(比如配置一个速度极快的模型)。注意，同样的，你需要在 Byzer-SQL 中注册这个函数。\n\n---\n\n现在，Super Analysis 系统已经完全部署并启动。你可以开始使用 OpenAI SDK 进行测试和接口调用。具体测试和接口使用方法请参考 [openai_local_api.ipynb](./openai_local_api.ipynb)。\n\n🎉 恭喜！你已经成功部署了 Super Analysis 系统。如有任何问题，请随时查阅文档或联系支持团队。"}}}}