跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

2 条精选近 30 天 1 条共收录 35 条

更新

部署工程的精选

11月11日周三第 1–2 条
9月29日周二
  1. Ollama Blog72

    Ollama 0.35 支持 Jev 风格决策模型

    Ollama 发布 0.35 版本,新增对基于 TypeSafe Jev API 的决策模型的支持,通过 /v1/systemone 端点一次请求回答一组命名问题。官方称本地运行无需额外费用且延迟更低,Nimble 9B 在 M5 Max 上平均每次决策耗时 91ms。目前可拉取 nimble、tev1 和 tev1:0.8b 三个模型,适用于工单分流、模型路由和内容或安全审核等场景。

    推荐理由:原文给出本地决策模型的延迟数据、可用模型清单和请求示例,便于判断这类接口适合哪些实时决策场景。