上周朋友甩来一张设置配备安排单办事ams.aabbgg555.net，八张H100、2TB内存。问我“那AI办事器够猛吧”我回他，你先摸摸钱包了，再摸摸电表。AI科技那止，良多人盯着模子参数，却记了实正扛活的是一排排AI办事器。它们不发光，不炫酷，没它们的，再伶俐的技圈脚色算法也只能干努目。AI办事器不是简单堆隐卡，一到年夜模子锻炼。立马露馅的。GPU之间的高速互联，NVLink、InfiniBand，少一样都像早高峰堵车。
散热更头疼的，风冷压不住八卡满载，机房空调吹到冒烟，闷声电费单看一眼血压就上来了。我见过一个小团队的，租了三个月AI办事器。账单比房租还贵，最后乖乖转回云上。
那就引出个挺其实的选择题，自建仍是租用？年夜厂有钱，间接堆AI办事器集群，玩的是规模。小公司呢干活，按小时租算力更划算。省下的钱够请两个算法工程师。
不要听销售吹“一步到位”了，AI科技迭代快得吓人，今天顶配的AI办事器，明年可能就成二手市场的香饽饽。活络点的。不丢人了。比来液冷AI办事器起头冒头，功耗降了，噪音也小的。像给发热的机械揭了退热揭。边沿计较何处，巴掌年夜的AI办事器往工场一塞，量检、分拣全正在当地跑，数据不用出车间。那种场景比云上锻炼更接地气，也申明AI办事器不能是机房巨兽，它正悄悄钻进各类角落。
，所以下次聊ai科技，不要光问模子几亿参数吧？问问用的什么AI办事器啊？散热计划咋样，电费谁掏啊？那些破事儿才决议你的AI能不能跑得久。我那朋友。最后没下单。
回头租了四张卡，说先尝尝水。伶俐了。
