 chaos
|
61bda8db75
|
feat: 添加 Anthropic /v1/messages 接口适配层
- anthropic_request_to_openai(): Anthropic 请求转 OpenAI 格式
- system 提取到 messages 首条
- content blocks 展开 (text/tool_use/tool_result)
- tools 格式转换 (input_schema → parameters)
- max_tokens/temperature/stop_sequences 等参数映射
- openai_response_to_anthropic(): OpenAI 响应转 Anthropic 格式
- content 数组构建 (text/tool_use)
- stop_reason 映射 (stop→end_turn, tool_calls→tool_use, length→max_tokens)
- usage 字段映射 (input_tokens/output_tokens)
- openai_stream_to_anthropic_stream(): 流式 SSE 转换生成器
- message_start/content_block_start/content_block_delta/content_block_stop
- message_delta/message_stop 事件序列
- 支持 text_delta 和 input_json_delta
- 正确的 block index 分配
- /v1/messages 路由: 复用现有 token 获取/超时/重试逻辑
- 非流式: 请求转换→上游转发→响应转换
- 流式: 请求转换→上游流式转发→SSE 事件转换
测试通过: 非流式/流式文本、system prompt、tool_use、tool_result 多轮对话
|
2026-07-22 14:35:39 +08:00 |
|
|
chaos
|
b98010591e
|
feat: 添加自动上下文截断功能 (基于 LiteLLM trim_messages 方案)
- 新增 token 估算函数 (_estimate_tokens, _estimate_messages_tokens)
- 新增滑动窗口截断 (_trim_messages): 保留 system/tool 消息, 从最旧对话消息开始丢弃
- 新增单条消息中间截断 (_shorten_message_content): 保留头尾, 迭代逼近目标 token 数
- 新增 _maybe_trim_context: 集成到代理逻辑, 请求体超限时自动截断
- 截断目标: 上游 192K token 限制的 73.5% (~141K), 留出响应空间
- 测试验证: 202K token 请求自动截断至 125K, 上游返回 200
|
2026-07-22 10:26:35 +08:00 |
|
|
chaos
|
dcf9b33fe9
|
feat: 添加 glm-5.2 模型到可用模型列表
|
2026-07-22 09:00:29 +08:00 |
|
|
chaos
|
fab2a25bcc
|
feat: 上游错误日志 + ModelArts错误→OpenAI格式转换
- 非200响应记录WARNING日志（含响应体前500字节）
- 华为云ModelArts错误格式(error_code/error_msg)转为OpenAI标准格式
- 解决客户端'压缩上下文'报错时错误格式不兼容问题
- 根因: prompt超196608 tokens触发ModelArts.81001
|
2026-07-02 17:23:34 +08:00 |
|
|
chaos
|
e9c635dbd0
|
feat: 网关全面优化 - SSE流式转发/连接池/Token优先级/持久化
- 移除JWT格式过滤(token.count('.')>=2)，改为len>200
- HUAWEI_TOKEN环境变量设为最高优先级
- Token持久化到/etc/huawei-gateway.env，重启自动恢复
- SSE流式转发(stream=True + iter_content)
- requests.Session连接池(20连接, 3次重试)
- Waitress线程数16→32
- 过滤hop-by-hop头(Connection/Keep-Alive/Upgrade)
- pip安装增加waitress依赖
- 新增独立huawei_gateway.py文件
|
2026-07-02 16:23:22 +08:00 |
|