今天我们就使用RTX5090D、RTX5080、RTX5070Ti以及RTX5070，共4张RTX50系显卡来实测一下，不同显卡之间的性能差距。
首先介绍一下测试平台，除了本次测试的4张显卡，处理器选择AMDR79800X3D，内存为48GBDDR56000MHz。
关于本地部署的步骤这里不再过多讲解，有兴趣的用户可以翻看我们此前的文章。
测试使用LMStudio，无加速框架进行对比，完全凭借显卡自身算力。毕竟不同加速框架对不同厂商的显卡优化不同，测试变量太大。
这里我们首先选择【DeepSeekR1DistillQwen32B】模型。
将GPU卸载拉满，这意味着DeepSeek模型将完全由GPU进行计算，其他参数默认即可。由于AI模型每次回答都会有所区别，这里设置3个问题，取平均值。
另外需要注意的是，我们设置的问题本身框定了范围，让AI在思考回答时不会过于发散。如果问“什么是哲学”这类无范围的问题，每次回答的结果将无法量化。
在32B模型中，可以看到RTX5090D的tok/sec还是很快的，毕竟作为本代旗舰产品，32GB大显存本就适合AI训练。
但在RTX5080进行测试时便出现了问题，可以看到RTX5080在回答问题时，思考时间达到了348秒，也就是将近6分钟。
这里需要提及一下，不同模型对于显存需求的换算大致有个公式，即：
（32）B÷2×1.15=显存
所以32B模型需要的最低显存，为18.4GB左右，这已经超出了RTX5080的16GB显存。而这溢出的2GB显存，则由内存补足。
但对于模型来说，爆显存之后不管“外借”多少内存，都将按照最慢的速度运算。
实测同事的RTX2060，在运行32B模型时，即便“外借”的内存更多，但思考时间同样为5分钟左右。
爆显存对本次测试的意义就不大了，所以我们更换更小的8B模型，让后续型号都能够完全用显存完成测试。
根据上面的公式，这里可以推测出8B模型大约仅需要4.6GB显存，即可满足运算需求。
在更换模型后，所有显卡均可进行正常测试，成绩汇总如上。
从结果来看，tok/sec与显卡显存及算力有较大关系，并且呈现出应有的性能递进关系。而firsttoken和思考时间没有太大规律可循，下面每张显卡的tok/sec成绩我们进行了柱状图汇总，方便大家看的更清晰。
对于大显存高算力的RTX5090D毫无意外拔得头筹，而显存相同RTX5080及RTX5070Ti差距不大。根据不同显卡之间的AI算力来看：
RTX5090D（AITOPS：2375）；
RTX5080（AITOPS：1801）；
RTX5070Ti（AITOPS：1406）；
RTX5070（AITOPS：988）
至少DeepSeek大语言模型对于AI算力的要求并不是最重要的，而是显存。只要显存足够大，在推理运算时即有压倒性的优势。
最后总结一下本次DeepSeek测试的要点，供大家快速记忆：
1.DeepSeek大语言模型对GPU的需求：显存＞算力
2.模型对显存要求的换算公式（x）B÷2×1.15=显存
3.当显存无法满足模型最低需求，多少AI算力都无济于事
4.思考时间与GPU并无绝对关系，而是问题的开放性
本次测试选择的LMStudio，目的就是为了使用显卡未经加速的真实算力。不过现在有很多针对不同架构的加速框架，甚至笔记本也能跑满血大模型，大家在自己使用时不妨自行尝试。
(9647699)
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】