手机上端侧点ams.aabbgg666.net的及时翻译、相册消弭路人。断网也能跑。背后干活的是端侧 AI 芯片。某品牌演示离线生成图片了。3秒出图，NPU占用不到40%。云端计划提早至少翻倍，还吃流量的芯片。挑芯片先看算力？
TOPS数字很唬人。苹果A17 Pro的NPU约35 TOPS。高通骁龙8 Gen 3约45 TOPS的。
理想跑70亿参数模子，两者生成速度差不到15%的。内存带宽和软件调理才是瓶颈样选。小我测过一台8GB内存手机的，跑同款模子，速度比12GB慢三成。查模子支撑比跑分其实。
端侧 AI 芯片要跑年夜模子了，得看它支撑INT4仍是INT8量化。良多芯片标称支撑70亿参数。理想跑起来发热降频。去开发人员文档找实测数据。好比某芯片跑Llama 2 7B看算看那，每秒5个token，连绝10分钟掉到3个。功耗和散热别忽略的。端侧 AI 芯片长时间推理，手机烫手。选的时分关注能效比，不是峰值算力。
一个小技巧，看厂商有没有供给连绝机能曲线呢？没有的话，去论坛搜“降频”“发热”很重要词。
实测某款中端芯片。峰值20 TOPS，连绝，只要8 TOPS。小我观点，今年买手机，NPU算力低于30 TOPS的，明年跑新模子可能费劲。不要为用不上的功用多花钱。端侧 AI 芯片合适离线翻译、建图、语音助手了。云端年夜模子仍然更强。按自己场景选。
不要逃参数。
