全球主机交流论坛

标题: hostloc首发？在自己机器上跑起来了英伟达Nemotron-Ultra-253B模型 [打印本页]

作者: 吊打华伪 时间: 2025-4-13 12:29
标题: hostloc首发？在自己机器上跑起来了英伟达Nemotron-Ultra-253B模型
众生平等，这个体积，除了英伟达专业显卡，其他所有卡包括4090都是废品，大家都要用cpu算

非moe，用不了清华大学的推理构架。

众生平等之下MJJ掌握优势：一般人没有4通道的内存， MJJ人手一个E5 ovh

实测，E5 ovh不到0.3个token/s, 我去问个问题，吃完饭，回来再看！

官网：https://build.nvidia.com/nvidia/llama-3_1-nemotron-ultra-253b-v1 卡成狗了

loc首发介绍：https://loc.528866.xyz/thread-1402426-1-1.html 但是openrouter就没必要了，貌似时非推理的。

英伟达整个模型比较强，可以时推理的模型，也可以关闭推理。

作者: 我是老王 时间: 2025-4-13 12:34
免费的一大堆干什么要这样折磨自己呢

作者: 坏鸡鸡 时间: 2025-4-13 12:37
钱多,,,,,,我们用不起

作者: 纵横天下 时间: 2025-4-13 13:49

我是老王发表于 2025-4-13 12:34
免费的一大堆干什么要这样折磨自己呢

这样可以显得自己相当的牛逼。就好像AI程序是他设计出来的一样

欢迎光临全球主机交流论坛 (https://loc.528866.xyz/)