外网AI大佬实测Deepseek大模型本地部署，成本仅需6000美元，老美马斯克那些硅谷资本再怎么质疑也没用了!
推上AI大佬实测 DeepSeek-R1 671B模型可以直接使用 AMD 霄龙服务器EPYC，无需显卡，输出速率6-8 token/秒，成本6000美元 [灵光一闪]
网友实测：“最近正好详细测试过这个，2路epyc 9755，单颗cpu支持12通道，内存为ddr5 4800
直接下结论：线程数开到64时最快(单颗CPU核心数一半)，所以双路epyc512线程完全没用，超线程没用，甚至有反效果，token最高为5.89t/s
影响最大因素为加载模型时在内存条上的权重分配方式，即实际等效内存带宽为最大影响因素。
最有效配置应该为单颗64-96核心，单核通道数越多越好，内存频率越快越好，不用开超线程。
成本多少可以自己淘宝，大概是6-8w元。
上面环境跑R1：32b q4最高生成速度为14.85t/s，多测几次会略有误差
使用单颗epyc 9655环境 12通道ddr 5 5600，同模型，可以达到16.89t/s，差距接近内存总带宽。”
结论：影响DeepSeek-R1本地部署处理速度的是内存总带宽，跟cpu速度弱相关，整套系统功耗很低，<400瓦。
本地高效部署DeepSeek-R1 671B全尺寸大模型的配置只需6~8万人民币，这才是真正的科技平权，黄仁勋囤积的高性能GPU彻底完了[呲牙]
PS：作为对比，如果使用英伟达计算卡部署DeepSeek-R1 671B全尺寸大模型至少需要2xH100计算卡，整套系统成本>10万美元 [偷笑]
声明：该文仅代表作者本人观点，欢迎在下方【顶/踩】按钮中亮出您的态度。