 John ChenandGitHub
|
6a2da31946
|
fix: 修复智普、Moonshot渠道在stream=true时无法拿到cachePrompt的统计数据。
根本原因:
1. 在OaiStreamHandler流式处理函数中,调用applyUsagePostProcessing(info, usage, nil)时传入的responseBody为nil,导致无法从响应体中提取缓存tokens。
2. 两个渠道的cached_tokens位置不同:
- 智普:标准位置 usage.prompt_tokens_details.cached_tokens
- Moonshot:非标准位置 choices[].usage.cached_tokens
处理方案:
1. 传递body信息到applyUsagePostProcessing中
2. 拆分智普和Moonshot的解析,并为Moonshot单独写一个解析方法。
|
2025-12-30 17:38:32 +08:00 |
|