研报下载就选股票报告网
您好,欢迎来到股票分析报告网!登录   忘记密码   注册
>> 申万宏源-电子行业TurboQuant之于存储详解(GenAI系列之74):有理论启发的常规学术进展-260330
上传日期:   2026/3/31 大小:   1966KB
格式:   pdf  共19页 来源:   申万宏源
评级:   强于大市 作者:   刘洋,袁航,杨海晏
行业名称:   电子
下载权限:   此报告为加密报告
本期投资提示:
  谷歌解决大模型KVCache的论文热议,或引发存储需求的疑虑。近期谷歌论文《TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate》(2025年4月发表,ICLR 2026年接收)和谷歌官网博客引发热议。
  首先,我们找到原始论文,有较多新发现。1)新闻报道主要是参考了谷歌博客,参考原始论文偏少,而前者比后者激进。主要证据是PolarQuant内容、效果倍数、对照组的描述。2)若将TurboQuant的前序学术创新做一个追溯,即找到QJL、RaBitQ、KIVI、两种版本PolarQuant的论文,会发现TurboQuant或只是“常规的学术进展”,与新闻描述的“DeepSeek时刻”、“存储的重大变化”无关。3)假如TurboQuant真为“存储的重大变化”、“谷歌的DeepSeek时刻”,那么2024-2025年RaBitQ、KIVI、PolarQuant论文发布时,都曾是这种级别的突破。
  其次,帮助一二级金融投资者理解TurboQuant。1)大致包括10步骤论述。其中,第第3部分的粗略版,和第6部分的精细版,是本篇的一大特点。前者基于MSE均方误差生成最优失真率的矢量量化器,快速但有误差。后者提供1位量化器应用于残差,得到无偏且低失真的内积量化器。两者较为互补。2)人大等版本PolarQuant的思路,类似于逻辑分类索引资料;谷歌等版本PolarQuant的思路,类似于层级精简资料;KIVI算法,类似于分行业和个股索引资料;RaBitQ算法,类似于二进制化归档资料(而二进制判断的内容,即各种特征标签,比如是否符合低PE,是否符合成长股,是否符合某个政策)。本文的TurboQuant算法,可类比为:复用了索引、层级精简、校准员。
  再次,TurboQuant的利弊与比较。1)优点暂时不再赘述,折中了哪些呢?2)只压缩KV-Cache,未必压缩权重weight,未必压缩模型本体,不改变激活值。3)应不改变训练,只改变推理,而且是中低端推理无效(比如端侧芯片无效)。4)场景适配性或有局限。5)一个关键问题,精度回退问题。未必是2.5bit与16bit来比(宣称的提效6-8倍或4倍),而是2.5bit和4bit比,效果或许并不明显。论文中的KIVI对照是证据。
  最后,延展问题和这篇的启发。1)谷歌这篇虽未必影响存储的需求。但真正值得关注的是:同样是大模型(KVCache)利好存储,但产业链不同环节的利益不统一,选取的方案差异化。2)AI的本源,可以从数学和数字通信上思考。此前KVCache的研究,主要以工程化为主,从信息论、数学极限推导都尚不充分。谷歌这篇从数字通信理论开始推导,是尝试努力创新的。正文列举了Attention注意力机制借鉴DSP理论。注意力机制,其实是20年前数字通信的优化思想(做各种数字滤波器)用在AI算法。
  风险提示:前沿科技的研究,尤其学术论文的探索,一直伴随技术变化。而技术变化可能带来较大波动。尽管本文努力解释存储未必受到本篇论文影响,但此前存储领域涨幅较大,依然可能有交易风险。相关领域P/E倍数偏高,可能会有估值回归的风险
 
Copyright © 2005 - 2021 Nxny.com All Rights Reserved 备案号:蜀ICP备15031742号-1