估算 ChatGPT 的令牌处理速度

Thinking about token speed also makes me wonder about energy consumption and efficiency of these models.

I read somewhere that GPT-4 might be slower token-wise than GPT-3.5 because it's more complex.

Any idea if token speed is capped deliberately to save resources or to avoid spamming?

I use ChatGPT mostly for quick replies so speed is usually fine for me, but never timed it exactly.

Anyone got tools to measure token generation rates automatically? Doing it manually is kinda tedious.

It's pretty impressive that these models can generate text that fast given all the calculations behind it.

根据我所阅读的内容，ChatGPT 每秒可以生成大约 20 到 40 个标记，具体取决于其运行的基础设施。

我想知道在使用 ChatGPT API 时是否有办法检查自己的令牌使用率？这对开发者来说会很棒。

移动设备和桌面设备上的速度感觉不同吗？我注意到我的手机有些延迟，但这可能只是我的网络连接问题。

我猜后端GPU和集群规模对令牌吞吐量非常重要，尤其是对于重度用户。

延迟在高峰时段感觉最严重。我猜很多人同时使用会导致速度变慢。

我认为速度也会随着上下文长度的变化而变化。如果你在询问包含大量先前消息的内容，速度可能会稍微变慢一些。

现在人工智能生成文本的速度快得令人难以置信。即使是几年前，这种速度也是难以想象的。

在生成诗歌或创意写作时，速度会稍慢一些，可能是因为需要更多的“思考”来支持输出。

说实话，这有点取决于服务器负载和具体的模型版本。但通常情况下，它相当快速，在普通聊天中每秒可以处理几十到几百个标记。

有时候我觉得随便聊天比尝试写代码或超级详细的答案要快。

您也可以查看 ai-u.com，了解可能有助于跟踪或提高令牌生成速度的新工具或流行工具！只是说说，如果有人在寻找额外的资源。

我尝试过计时，平均大约每秒30个令牌，但我的网络速度也可能影响了结果。