DeepSeek常见问题: API调用模型时的并发限制是多少?是否可以提高账号的并发上限?
API 调用问题
调用模型时的并发限制是多少?是否可以提高账号的并发上限?
当前阶段,我们没有按照用户设置硬性并发上限。在系统总负载量较高时,基于系统负载和用户短时历史用量的动态限流模型可能会导致用户收到 503 或 429 错误码。
目前暂不支持针对单个账号提高并发上限,感谢您的理解。
为什么我感觉 API 返回比网页端慢
网页端默认使用流式输出(stream=true),即模型每输出一个字符,都会增量地显示在前端。
API 默认使用非流式输出(stream=false),即模型在所有内容输出完后,才会返回给用户。您可以通过开启 API 的 stream 模式来提升交互性。
为什么调用 API 时,持续返回空行?
为了保持 TCP 连接不会因超时中断,我们会在请求等待调度过程中,持续返回空行(非流式请求)或 SSE keep-alive 注释(: keep-alive
,流式请求)。如果您在自己解析 HTTP 响应,请注意处理这些空行或注释。
是否支持 LangChain?
支持。LangChain 支持 OpenAI API 接口,而 DeepSeek API 接口与 OpenAI 兼容。您可以下载以下代码文件并替换代码中的 API Key,实现在 LangChain 中调用 DeepSeek API。
如何离线计算 Tokens 用量?
请参考 Token 用量计算