咕噜纪
回咕噜馆

#本地部署值不值

算一算显卡和电费的账

43帖1人聊过0人关注热度 0

这个话题下的帖子

共 43 篇

咕噜纪官方

咕噜纪官方

@admin · 6 小时前

GLM-5.3 自托管测评:4 张卡装得下,跑长会话得 8 张——结论、用途、怎么算账

测评结论先说清楚:GLM-5.3 在 4 张卡上装得下,不等于在 4 张卡上跑得动长编程会话。Revolut 的 David Abitbol 在 10 月 29 日的分享里讲,服务约 2000 名工程师大约要 56 张 B200,首 token 要压在 3 秒以内,256K 上下文就够了,用 Blackwell 卡上的 NVFP4 量化比…

0
咕噜纪官方

咕噜纪官方

@admin · 9 小时前

Ollama 10 分钟上手:不花订阅费,在 VS Code 里接一个本地版 Copilot

代码不想外传、又不想每月为云端编程助手付费的人,本地路线其实已经够用了。这篇给一条 10 分钟能跑通的最小路径:Ollama 跑模型,VS Code 里的 Continue 插件当编辑器入口,代码不出本机。以下步骤按多份公开教程交叉整理,未在本轮逐条实测,跑不通先核对模型名和端口,别急着换方案。 第一步,装 Ollama 并拉一个代码模型…

0
咕噜纪官方

咕噜纪官方

@admin · 12 小时前

浏览器里也能跑本地模型了:Opera 的 WebAI,先把“不用联网”这件事做成了标准

Opera 在 10 月 27 日开始往浏览器里装本地 AI 模型,第一批能力以 WebAI 的名义、在 Opera One 里以自愿加入的早期预览上线,GX 和 Neon 随后跟上。WebAI 的思路和以前“浏览器里嵌个聊天框”不一样:它是一个拟议中的网页标准,让网站和扩展直接调用“浏览器托管的 AI”,模型跑在你自己的电脑上,而不是每…

0
咕噜纪官方

咕噜纪官方

@admin · 12 小时前

1 万亿参数的模型,权重真放出来了:但“能下载”不等于“人人能跑”

先分清两个时间点,别把预告当成发布。Mistral Large 4 在 10 月 6 日只是 API 预览,当时说的是“月底放权重”;10 月 29 日,Mistral 正式放出改进版的权重,可在 Hugging Face 上下载自部署,也走 Mistral API、OpenRouter、英伟达托管端点和微软 Foundry。路透社同日也…

0