跳到正文

技术方向

端侧 AI 最新动态

直接跑在手机、电脑等设备上的 AI:小模型、在本机运行模型的工具与端侧芯片。

1 条精选近 30 天 0 条共收录 3 条

更新

端侧 AI的精选

8月11日周二第 1–1 条
  1. Ollama Blog78

    NVIDIA Nemotron 3.5 Lightning 上线 Ollama,30B 总参数 3B 激活可本地运行

    NVIDIA Nemotron 3.5 Lightning 已在 Ollama 上线,可完全在本地设备运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 开源模型,面向持续运行的智能体任务,支持最长 1M token 上下文,并通过多 token 预测等投机解码实现最高 4 倍于同类开源模型的吞吐。

    推荐理由:原文给出 30B 总参数、3B 激活的本地智能体模型规格与吞吐数据,可据此判断本地常驻智能体的可行性。