全球主机交流论坛

标题: NPU不要显存的吗？却能运行AI计算数据存哪里呢？ [打印本页]

作者: 日本华人论坛 时间: 2024-2-19 13:13
提示: 作者被禁止或删除内容自动屏蔽

作者: hfhfg 时间: 2024-2-19 13:25
这个问题技术含量太高，等楼下回答。

作者: 我是老王 时间: 2024-2-19 13:44
显存不足就存内存里面啊

作者: shamemore 时间: 2024-2-19 19:48

答案是：不一定。

NPU，即神经网络处理器，是一种专门为深度学习应用设计的硬件加速器。NPU 可以显著提高深度学习模型的推理速度，降低功耗。

NPU 是否需要显存取决于其具体的架构设计。

一些 NPU 采用了与 GPU 相似的架构，拥有自己的显存。这些 NPU 可以直接将模型参数和数据存储在显存中，从而提高计算效率。
另一些 NPU 则采用了不同的架构，不拥有显存。这些 NPU 需要将模型参数和数据存储在主内存中，在执行计算之前将它们加载到 NPU 中。这可能会降低计算效率。
以下是一些常见的 NPU 架构：

华为昇腾 NPU：采用了与 GPU 相似的架构，拥有 HBM 显存。
寒武纪 Cambricon NPU：采用了不同的架构，不拥有显存。
地平线旭日 NPU：采用了与 GPU 相似的架构，拥有 HBM 显存。
总而言之，NPU 是否需要显存取决于其具体的架构设计。如果 NPU 拥有自己的显存，则可以提高计算效率。

欢迎光临全球主机交流论坛 (https://loc.528866.xyz/)