详述具体差异是什么呢,为啥觉得 nvidia 更适合
因为同价位下 AMD AI MAX+ 395 可以用更大的显存,回血出内存也方便,最高 128G
如果是 N 卡它到不了这么大,除非多卡,但是多卡又比 AMD 贵空间占的也多
至于性能损失方面不是咱们这些专业选手,人家并不在意
推理来讲 395 便宜啊 128g 能跑大多数模型了
他的竞争对手应该是 Mac mini 128g 这种
Nvdia 是另一个赛道了吧……
你觉得人家没这个智商对比么?
哪怕 Q4 量化,部署一个 dense ,又真正可用的本地模型,根据不同参数规模,你猜猜需要多大的显存?
当然,如果你是推荐给他 H20/H200 之类的,当我没说。。。
安装个 rocm 你就明白 A 卡的坑了
建议买华为
本地部署大模型务必买 NVIDIA Spark 呀,和 AMD 395 对标的产品,这俩我都买了,AMD AI MAX+ 395 预售阶段我就下单了,相比来说,比 AMD 395 贵几千块,但生态和性能强的不是一点。
显存大,虽然速度慢好歹能跑,用 vulkan 后端就行了,rocm 纯坑
早几年前,训练 ai 只能用 nVidia 卡,现在才逐渐支持 amd 的卡而已
详述具体差异是什么呢,为啥觉得 nvidia 更适合
因为同价位下 AMD AI MAX+ 395 可以用更大的显存,回血出内存也方便,最高 128G
如果是 N 卡它到不了这么大,除非多卡,但是多卡又比 AMD 贵空间占的也多
至于性能损失方面不是咱们这些专业选手,人家并不在意
推理来讲 395 便宜啊 128g 能跑大多数模型了
他的竞争对手应该是 Mac mini 128g 这种
Nvdia 是另一个赛道了吧……
你觉得人家没这个智商对比么?
哪怕 Q4 量化,部署一个 dense ,又真正可用的本地模型,根据不同参数规模,你猜猜需要多大的显存?
当然,如果你是推荐给他 H20/H200 之类的,当我没说。。。
安装个 rocm 你就明白 A 卡的坑了
建议买华为
本地部署大模型务必买 NVIDIA Spark 呀,和 AMD 395 对标的产品,这俩我都买了,AMD AI MAX+ 395 预售阶段我就下单了,相比来说,比 AMD 395 贵几千块,但生态和性能强的不是一点。
显存大,虽然速度慢好歹能跑,用 vulkan 后端就行了,rocm 纯坑
早几年前,训练 ai 只能用 nVidia 卡,现在才逐渐支持 amd 的卡而已