4 Commits

This Branch

This Branch

All Branches

Author	SHA1	Message	Date
chaos	b98010591e	feat: 添加自动上下文截断功能 (基于 LiteLLM trim_messages 方案) ... - 新增 token 估算函数 (_estimate_tokens, _estimate_messages_tokens) - 新增滑动窗口截断 (_trim_messages): 保留 system/tool 消息, 从最旧对话消息开始丢弃 - 新增单条消息中间截断 (_shorten_message_content): 保留头尾, 迭代逼近目标 token 数 - 新增 _maybe_trim_context: 集成到代理逻辑, 请求体超限时自动截断 - 截断目标: 上游 192K token 限制的 73.5% (~141K), 留出响应空间 - 测试验证: 202K token 请求自动截断至 125K, 上游返回 200	2026-07-22 10:26:35 +08:00
chaos	dcf9b33fe9	feat: 添加 glm-5.2 模型到可用模型列表	2026-07-22 09:00:29 +08:00
chaos	fab2a25bcc	feat: 上游错误日志 + ModelArts错误→OpenAI格式转换 ... - 非200响应记录WARNING日志（含响应体前500字节） - 华为云ModelArts错误格式(error_code/error_msg)转为OpenAI标准格式 - 解决客户端'压缩上下文'报错时错误格式不兼容问题 - 根因: prompt超196608 tokens触发ModelArts.81001	2026-07-02 17:23:34 +08:00
chaos	e9c635dbd0	feat: 网关全面优化 - SSE流式转发/连接池/Token优先级/持久化 ... - 移除JWT格式过滤(token.count('.')>=2)，改为len>200 - HUAWEI_TOKEN环境变量设为最高优先级 - Token持久化到/etc/huawei-gateway.env，重启自动恢复 - SSE流式转发(stream=True + iter_content) - requests.Session连接池(20连接, 3次重试) - Waitress线程数16→32 - 过滤hop-by-hop头(Connection/Keep-Alive/Upgrade) - pip安装增加waitress依赖 - 新增独立huawei_gateway.py文件	2026-07-02 16:23:22 +08:00