从NSG到OnePiece，傅聪十年算法迭代，为搜推领域带来哪些变革？-CSDN博客

电商平台精准推荐背后：隐私与技术的博弈

家里电瓶车侧翻，后排脚搭塑料件摔坏，部件不翼而飞。随口吐槽后，打开某电商平台，该配件竟出现在首页推荐，下单收货安装后严丝合缝。若不是平台推荐，甚至不知该搜什么关键词。此事发生在7月中旬，几乎同一时期，微信群里一份聊天记录也在疯传。这两件事让人惊叹电商平台推荐系统强大的同时，也不禁质问：用户究竟有多少隐私暴露在这些平台之上？

将这两件事告知傅聪老师后，他让同事尝试复现聊天记录中的情况，却未成功，推测可能跟在新加坡地区有关。傅聪是海外大厂资深搜推算法专家，也是NSG、SSG、PSP、MAG等向量检索算法的作者，生成式搜推模型OnePiece、ReSID、ManCAR、OneRank等范式的主导发明者，是生成式推荐领域的领军人物，也是国内在搜推原创算法路上持续做出理论级贡献的开发者之一。

傅聪表示，这个问题分两层：第一，一个APP能通过什么合法渠道获取信息；第二，有了多模态信息，怎么实现推荐。正常APP不可能直接监控所有用户权限，手机系统对权限做了多层分级，APP从前台切到后台后能获取的权限会变化，不能监控其他APP的状态。当然，技术上存在绕过系统权限的黑客级手段，但正规软件厂商通常不会跨过这条边界。若一款APP在iPhone上出现越狱级别监控用户信息且有明确证据，最严重后果可能是被App Store永久下架。

另一个层面是多模态检索。现在大模型识图能力强，若用户授权，可借助多模态大模型提取用户意图和核心要素，并发产生多种召回请求，生成候选商品，最后按与多模态输入的相关度选出相似商品。也就是说，这两件事的核心矛盾并非技术问题，而是权限问题。询问傅聪老师团队是否面临这方面问题时，他表示海外APP在这方面管理严格，没听说过有团队往这个方向动心思。

浙大博士与NSG算法的科研之旅

傅聪与搜推算法的缘分从学生时期开始。2016 - 2017年，他读博期间发表了NSG算法的论文。当时HNSW算法刚提出不久，基于图的向量检索算法还是小众领域，HNSW的出现带来一个问题：基于图结构的向量检索算法为什么有效？

传统向量检索算法如PQ运行效率差，无法在几毫秒内返回最相似的Top 500个向量，很难在工业界落地。在电商场景下，用户对搜索反馈的延迟要求敏感，留给向量检索的时间通常只有50 - 100毫秒，传统PQ算法无法在此时长下达到95%以上的精度。HNSW虽比PQ快很多，但在数十亿商品库量级的电商平台场景下需要的内存太大，厂商难以承受硬件成本。

傅聪团队的NSG算法有两大亮点：一是在理论上首次证明了图算法的最优性，延迟对数据规模不敏感；二是达到相同效率的情况下，NSG需要的内存大约是HNSW的三分之一。凭借这些亮点，NSG被阿里巴巴中台系统采用，为蚂蚁等集团提供向量检索服务，被更多大厂集成。但在全球开源生态中，HNSW更流行，其封装成各种接口，集成到知名开源框架中，分布式调用方案成熟。彼时傅聪作为博士生，完成算法设计、论文发表和Demo提交后，无暇顾及后续开源社区维护。然而，NSG凭借过硬性能与深厚理论功底脱颖而出，成为超大规模向量检索的优先算法和领域里程碑式成果。

大模型时代到来后，企业选向量检索算法的逻辑改变。以前重成本，现在用户对耗时容忍度大幅拉高，使用算法的方便性决定技术选型优先级，开源生态更成熟的HNSW成为行业公认的第一选择。

四个算法，十年迭代之路

从NSG之后，傅聪连续迭代了SSG、PSP、MAG三个算法。NSG虽证明了最优性，但图结构对不同数据分布不能自适应扩展，于是他发明了SSG，给图结构加上自由度，可适应不同数据形态或分布，调整图结构的稀疏程度和结构特性，这是NSG和HNSW都不具备的。

2020年GPT - 3发布，重塑了机器学习范式。大模型时代常用余弦相似度或内积作为相似度度量，与传统的欧式距离有本质差异。很多人误用度量，用HNSW套框架构建向量引擎，在某些大模型提取的向量里，召回精度甚至趋近于0%。于是傅聪团队为余弦/点积相似度设计了PSP算法。到2024年，基于内积和余弦的向量数据库还处在早期、无理论支撑阶段，PSP在这个空缺上做了数学理论推导，寻找内积空间上的检索最优性。

大模型产生的向量，度量的向性并非非此即彼，欧式和内积之间有过渡地带。傅聪团队发现构建图结构时用混合度量效果更好，MAG就是将两种特性融合到一套索引里的方案，先跑诊断脚本判断数据偏欧式还是偏内积，然后自动输出最优配置，其初衷是让用户无需懂复杂算法原理和数学知识，拿来即用。

做MAG时傅聪发现，现在整个向量检索或RAG都在退火，用户只希望拿来就能用，但向量检索需要成体系化的数据库。若想推广MAG，需自己提交适配版本，但提交后对方无义务推广，且向量检索环节对用户下游感知影响不大，已成为超长链条里很小的环节。

Iceberg：AI时代的新评价基准

Iceberg是傅聪推广自己算法的一次尝试。推出它是为了呼应PSP和MAG，希望更多人看到它们。它解决了一个现实问题：学术界用传统benchmark评价向量检索效能，只关心传统神经网络产出的向量在欧式距离上的精度，与工业界实际应用存在巨大鸿沟。在AI大模型时代，常用余弦相似度或内积作为相似度度量，与欧式距离本质不同。很多论文称自己的算法好，但应用到产品中效果不佳，业界不可能尝试每一篇算法论文。

Iceberg把所有向量检索算法拉到新竞技场，用大模型时代的新向量数据集看下游指标，判断哪个算法与哪个模型适配性最好。它上传到Hugging Face首周下载量就达几百次，在向量检索算法小众领域成绩不错。

OnePiece：生成式搜推的新探索

在向量检索算法领域奔跑十年，傅聪不断尝试拥抱新变化。2024年以前，厂商最大的推荐模型参数与同期大模型相差十几个数量级。于是有人尝试用大模型思路，用Transformer重构推荐系统，但有一个根本问题：大推荐模型和大语言模型，本质上真的是一回事吗？若投入大量资金后发现技术不能借鉴，对公司来说是灾难性投入。

OnePiece回答了这个问题。傅聪表示，大推荐模型和大语言模型相似，但应用方式不同。推荐系统没有语言体系，无法简单构建思维链，需要定制化的上下文工程和隐式推理。在这个方向上，OnePiece已做到和大语言模型隐式推理技术对等的水平。目前OnePiece 2.0和3.0版本在Shopee内部先后部署，是平台推荐系统和搜索引擎的核心部分，覆盖东南亚和拉美地区主要流量。值得一提的是，OnePiece框架部署后，Shopee平台商品销售总收入提升1.8个百分点，广告营收提升3.3个百分点，相比传统判别式模型迭代，提升效果显著。

求变还是坚守：向量检索人的困境与抉择

访谈最后，询问傅聪老师做向量检索的人是否感到被市场“冷落”，他回答“拥抱变化”。他认为资本流向决定下一代应用和产业价值潜力方向，出现重应用、轻底层现象合理。目前除了部分厂商，还没看到太多扎实落地、带来收益增长的明星公司。

AI带来的效益难以度量，应用智能体开发后，代码评审环节产生瓶颈，上线后收益难以归因到AI助力，导致无法评估ROI。所以大家都在快速找应用场景，先野蛮生长，再精细化运营。讽刺的是，傅聪团队做推荐系统帮公司赚到钱，而很多明星AI公司却一直在亏钱。这是资本市场导向问题，更看重未来。

在学术界，做推荐算法的论文投稿是小众赛道，即使有创新算法，关注的人也少。傅聪认为必须主动跟大模型结合，早结合比晚结合好，要主动探索契合点，否则知识体系和工作模式可能脱节。那个摔坏的塑料件不知名字，也无法证明电商平台推送是否巧合，但傅聪从NSG做到OnePiece的十年，是扎实适应时代变化的过程，最后他站到了AI的牌桌边上。

本期嘉宾：傅聪

傅聪是Shopee（新加坡）资深算法专家，浙江大学计算机博士毕业，曾赴美国南加州大学访问研究。其主导发明的NSG、SSG、PSP、MAG等高性能检索算法，已落地为千亿级向量检索系统，成为工业界大规模检索的标杆方案之一；他提出的生成式搜推模型OnePiece、ReSID、ManCAR、OneRank等范式，是领域内开创性工作，在大型电商平台取得显著商业价值，为“超级推荐智能”时代奠定重要基础。他在TPAMI、KDD、VLDB、SIGIR、IJCAI、EMNLP、CIKM等顶级会议或期刊发表论文二十余篇，长期担任TPAMI、ICLR、NIPS、ICML、KDD、TKDE、SIGIR、AAAI、IJCAI、EMNLP等国际会议审稿人，目前专注于大模型、智能体、生成式推荐等技术大规模应用落地方面的研究。