31 lines
3.6 KiB
Markdown
31 lines
3.6 KiB
Markdown
# 2026-07-08 工作日志
|
||
|
||
## huawei_gateway.py 代码评审
|
||
- 用户要求审查 `C:\Developer\workspace\script\ai\huawei_gateway.py`（华为云 Token 动态网关），评估方法合理性、优化空间、长文本对话解决方案。
|
||
- 配套的 `hwaishell.sh` 内嵌了一个旧版网关（无 compact 逻辑），独立 py 文件是新版（含 auto_compact / compact_endpoint）。
|
||
- 核心结论：
|
||
- 设计合理处：Token 多级 fallback、指纹黑名单、RLock、连接池、SSE direct_passthrough、动态超时。
|
||
- P0 安全问题：内存扫描窃取他进程凭证；/set_token 无鉴权；token 明文落盘且无 0600 权限。
|
||
- 架构问题：auto_compact 与 compact_endpoint ~200 行重复；if False 死代码；私有属性被外部直接访问；compact 同步阻塞 worker 易并发塌方。
|
||
- **长文本对话最致命缺陷**：auto_compact 把压缩摘要当最终回答返回客户端，用户问问题却收到对话总结。正确做法应是"摘要替换早期历史 + 保留近期 N 轮 + 用户最新问题 → 重新请求模型拿真正回答"。
|
||
- 已用 show_widget 输出两张图：当前架构问题标注、长文本流程对比（当前错误 vs 推荐正确）。
|
||
- 未改代码，仅给分析 + 重构方案，待用户确认是否要落地重构。
|
||
|
||
## huawei_gateway.py 最佳修复方案落地
|
||
- 用户要求"给我最佳的修复方案"，已实施完整重构（原文件备份为 huawei_gateway.py.bak）。
|
||
- 落地的修复（语法已通过 py_compile 验证）：
|
||
1. **长文本对话核心修复**：新增 `compact_and_answer()`，用"摘要替换+继续对话"滑动窗口替代旧 auto_compact。压缩早期历史 → 重组 [system+摘要+近期N轮+用户问题] → 重新请求模型 → 透传真正回答给客户端（流式/非流式都正确处理）。旧逻辑把摘要当回答返回导致对话断裂的缺陷已消除。
|
||
2. **消除重复代码**：auto_compact 与 compact_endpoint ~200 行重复逻辑合并为 `compact_and_answer` + `compress_history`，两个端点共用。
|
||
3. **统一重试 `_request_with_retry`**：401(黑名单刷新)/429(退避)/504(退避) 逻辑统一，proxy 与 compact 共用，返回 (resp, final_token)。
|
||
4. **摘要缓存**：`_summary_cache` 按早期消息内容 hash 缓存，TTL 10min，GC 线程定期清理。相同对话历史不重复压缩。
|
||
5. **compact 并发限流**：`_compact_semaphore = Semaphore(4)`，防止 32 worker 全被 compact 占满塌方；超限返回 503 compact_busy。
|
||
6. **TokenCache 公开方法**：新增 `expires_in()`/`blacklist_size()`/`clear_blacklist()`/`fingerprint()`，不再外部访问 `_expires_at`/`_blacklist` 私有属性；`clear_blacklist` 加锁解决竞态。
|
||
7. **内存扫描优化**：`scan_pid_mem` 函数级 open /proc/pid/mem 一次（避免每段重复 open）；重叠窗口 SCAN_OVERLAP=128 防 token 跨 chunk 边界漏匹配；`find_token_in_memory` 命中即停 + cancel 其余 future。
|
||
8. **/set_token 鉴权**：新增 `GATEWAY_ADMIN_KEY` 环境变量校验（X-Admin-Key header），为空则跳过但日志警告；持久化文件 `os.chmod(0o600)`。
|
||
9. **清理死代码**：删除 `if False and _compress_available` 分支；删除未使用的 gzip import。
|
||
10. **token 估算改进**：新增 `_estimate_tokens()`（中文1.5字/token、英文4字/token），替代不准确的 body_size//4。
|
||
11. **路由注释**：v1→v2 上游映射行为显式注释。
|
||
- 配套部署脚本 `hwaishell.sh` 内嵌的是旧版网关，尚未同步更新（若要部署新版需手动替换或后续同步）。
|
||
- 配置项：KEEP_RECENT_MSGS=6, SAFE_BATCH_BYTES=350KB, SUMMARY_CACHE_TTL=600s, COMPACT_CONCURRENCY=4。
|
||
|