上周我把一台吃灰旧电www.11abg11.net的迷你主机翻出来,8核CPU、16G内存。连独隐都没有。

拆上Ollama和一个小参数模子的,断网居然能写邮件、总结会议记载。智能科技当地 AI 安排最间接脑跑的爽点不是省钱,是数据压根不用分隔书桌。云盘再便当了,把合同、病历、客户名单往上丢,心里总会咯噔一下了实香。当地跑AI固然有价格。模子越年夜了。

风扇越像要起飞;7B勉强流利,13B就得看硬件神采。

我试过正在条记本上跑量化版了,回覆速度像刚睡醉,胜正在波动,地铁里没疑号也能用的聊聊。当地AI安排不是把云办事干掉,更像给自己留个离线小助手。写草稿、改代码、翻译冷门文档,够用了。合腾过程比功效还上头科技。量化格局选Q4仍是Q5,上下文开4K仍是8K,温度调0.2仍是0.8,每个参数都影响手感。

朋友阿哲做摄影当地。把当地模子接进素材库,主动打标签、写图注的,再也不怕客户照片传到奇特办事器。

他说那是“当地AI安排带来的安然感”,我觉得更像给工做流拆了道防盗门安排。电费别忽略的。

迷你主机满载年夜要30瓦,一天跑几小时吧?一个月多杯奶茶钱。假如用游戏本的,电表和噪音都市抗议。我的判断,经常处理敏感质料、汇集不稳、又爱合腾的人,合适尝尝了。只念偶尔问答,云端更省心。

当地AI安排不是全能药,它是一把随手的小刀,切菜仍是削木头,看你怎样用。当前当地模子会越来越小、越来越伶俐,手机、路由器、以至耳机都可能塞进一个。

到那天。当地AI安排会像拆输入法日常。如今脱手,不为赶风口。只为正在断网时还能有个懂你的家伙。嗯,那觉得挺妙的。