快科技平台在11月9日发布了一条消息, 这条消息讲的是在最近的这段日子里, 有一位在Reddit网站上活跃的网友, 通过一个完全没有任何图形处理器加速的纯中央处理器的运行环境, 让月之暗面这个公司推出的、拥有2.8万亿参数数量的顶级人工智能模型Kimi K3, 成功地完成了运行测试。
事情的发生, 让人出乎意料, 这个巨大的东西能够运行下去, 靠的不是那种价格动不动就几万块钱的顶尖显卡, 而是英特尔公司早就不搞了的第二代傲腾持久内存（Optane PMem 200）。
你要知道, Kimi K3作为是万亿级参数的巨型模型, 它的那个运行门槛是非常高的, 即便说是经过到了极其严重的那种压缩的量化处理之后, 也至少是需要610GB的内存空间的, 这是没办法的事情。
在当下这一种内存价格一直在持续上涨的大环境里, 如果想靠着把传统的DDR4或者DDR5这种内存一条条堆起来达到这么大的容量, 付出的代价是特别特别贵的。可是如果换一种做法去用二手的傲腾持久内存来当替代品的话, 它的成本比起那些同等容量的普通内存来说, 只占了非常小的一小部分。
在具体硬件部署层面, 这名操作人员是装配了一个有四十大核心的第三代英特尔至强可扩展处理器的。核心组成部分是属于第二代傲腾持久内存200系列的这个物品, 这个物品是在二零二零年的时候是随着第三代至强一起进行发布的, 并且它的单个条目的可选容量范围是从一百二十八GB一直到五百一十二GB这么个幅度。
在App Direct模式的情况下, 傲腾内存会被直接进行映射操作, 从而形成一个独立的持久化内存区域, 这个独立内存区域的形成, 使得软件能够获得对于模型张量存放位置的更加精准的控制能力。
但是傲腾这个东西, 它的性能是非常强大的。不过呢, 它那个发热量也是相当夸张的。这种持久内存在满载情况下的时候, 功耗高得吓人。这位玩家是非常郑重地给大家提醒了一下的, 他说: 一定要用主动散热设备, 这在操作上是硬性的要求, 这一点是绝对不能省掉的。
在测试环节, 他直接让了两台功率为12W的大功率涡轮风扇对着内存插槽进行猛烈吹风。他认为, 要是没有这套高强度的散热装置支持, 傲腾运行期间所释放出来的高热量, 完全有可能把位于旁边的普通内存芯片给烤坏, 而在情况严重的时候, 这股热量甚至能直接把主板的内存插槽烤得熔化掉。
在针对实际的推理表现来做评测的时候, 这套系统的实际表现情况, 简直只能用慢如老牛来形容, 如果是在1位（1-bit）量化这种条件下去进行测试的话, 其推理速度的数据仅为0.85 Token/秒, 而当把精度提升至3位量化之后, 速度还会进一步地下降到0.75 Token/秒。
这意味着生成一段包含了5万Token的任务可能需要耗时13小时以上, 这种速度对于实时对话毫无意义, 但对于不追求时效性的深夜离线批处理任务, 这种方案是一种极具性价比的方案。
