chaos b98010591e feat: 添加自动上下文截断功能 (基于 LiteLLM trim_messages 方案) ...

- 新增 token 估算函数 (_estimate_tokens, _estimate_messages_tokens)
- 新增滑动窗口截断 (_trim_messages): 保留 system/tool 消息, 从最旧对话消息开始丢弃
- 新增单条消息中间截断 (_shorten_message_content): 保留头尾, 迭代逼近目标 token 数
- 新增 _maybe_trim_context: 集成到代理逻辑, 请求体超限时自动截断
- 截断目标: 上游 192K token 限制的 73.5% (~141K), 留出响应空间
- 测试验证: 202K token 请求自动截断至 125K, 上游返回 200

2026-07-22 10:26:35 +08:00

ai

feat: 添加自动上下文截断功能 (基于 LiteLLM trim_messages 方案)

2026-07-22 10:26:35 +08:00

.gitignore

fix: 透明分批压缩 - /v1路由 + 超限自动compact无需客户端感知

2026-07-08 14:21:38 +08:00

S

Description

No description provided

219 KiB

0 Stars 1 Watchers 0 Forks

Languages

Python 60.7%

Shell 39.3%