快科技5月24日音讯，AI算力现在的瓶颈如故从GPU转向了存储芯片，国内尤其短缺高性能HBM内存等芯片，是以也发展出了多样优化工夫，清华大学日前的策动就在华为昇腾上竣事了6倍用量的缩小。

面壁智能、清华大学与 OpenBMB 社区日前辘集发布了BitCPM-CANN，这是首个原生基于华为昇腾NPU构建的端到端1.58比特（三元）大言语模子磨练系统。

顾名想义，这套系统引入了一套三元量化的工夫，模子权重被压缩为-1、0、1三种情景，使得显存占用量缩小了6倍，还顺带着缩小了功耗，因为运算中高耗能的浮点乘法缱绻简化成了加减法运算。

往往缩小算子也会导致大模子的精度缩小，不外这套三元量化的本色发达照旧很强的，团队公布了从0.5B、1B、3B再到8B参数目的大模子与全精度MiniCPM4的对比，1B、3B和8B 三元版分内别保留了各自对应尺寸全精度原版模子97.1% 、97.2%和95.7%的平均性能。

0.5B小尺寸的性能损不天然是最大的，但也达到了90.1%的比率。

速率上的亏欠也在可禁受领域内，在昇腾910B芯片平台上，全尺寸精度的费解量是155TFLOP/S，三元量化版也有148TFLOP/S，亏欠惟有4.5%。

更遑急的是，这套系长入运行即是基于昇腾平台原生树立的，作念到了端到端运行，况兼开源、可都备复现——从策动到部署，用户不错定心使用率性尺寸的模子。

至于这些工夫的真谛，不仅仅提高了国产AI平台的才调，更遑急的是缩小了对HBM等高价存储芯片的依赖，当初谷歌的阿谁TurboQuant工夫亦然差未几缩小6倍内存用量，一度激发了三星、SK海力士、好意思光等公司股价暴跌。

如今内存市集不仅价钱涨得离谱，况兼厂商竟然都不会加多产能，任由缺货加价推广，改革这个样貌是不成能指望三星等公司我方了，还得靠国内的公司提高内存闪存芯片产能，同期加大工夫优化，让内存闪存的用量不那么虚高才行。

开云(中国)Kaiyun·体育官方网站-登录入口