跳到正文
11月11日周三
11月9日周一
9月29日周二
  1. Ollama Blog72

    Ollama 0.35 支持 Jev 风格决策模型

    Ollama 发布 0.35 版本,新增对基于 TypeSafe Jev API 的决策模型的支持,通过 /v1/systemone 端点一次请求回答一组命名问题。官方称本地运行无需额外费用且延迟更低,Nimble 9B 在 M5 Max 上平均每次决策耗时 91ms。目前可拉取 nimble、tev1 和 tev1:0.8b 三个模型,适用于工单分流、模型路由和内容或安全审核等场景。

    推荐理由:原文给出本地决策模型的延迟数据、可用模型清单和请求示例,便于判断这类接口适合哪些实时决策场景。

8月31日周一
8月11日周二
  1. Ollama Blog78

    NVIDIA Nemotron 3.5 Lightning 上线 Ollama,30B 总参数 3B 激活可本地运行

    NVIDIA Nemotron 3.5 Lightning 已在 Ollama 上线,可完全在本地设备运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 开源模型,面向持续运行的智能体任务,支持最长 1M token 上下文,并通过多 token 预测等投机解码实现最高 4 倍于同类开源模型的吞吐。

    推荐理由:原文给出 30B 总参数、3B 激活的本地智能体模型规格与吞吐数据,可据此判断本地常驻智能体的可行性。