阿里妈妈基于检索的用户行为兴趣CTR模型——SIM
一、创新点
1、进一步从用户丰富的长期历史行为队列中挖掘用户有价值的兴趣点（与当前候选广告相匹配的兴趣）
2、提供一种长行为序列线上服务化的可行性方案
二、论文背景
在CTR/CVR预估领域中，用户历史行为对CTR/CVR预估的建模是很有指导意义的，用户的历史行为序列中蕴藏着丰富的用户”兴趣点“，用户的每一次行为都是某个方面兴趣的一种反应。比如我喜欢各种电子数码产品、喜欢玩游戏、但是又对手游不是特别感兴趣，基于这些兴趣的驱动，我可能浏览、点击过很多相关领域的内容或商品，那这些历史行为是否对我未来行为的预测有帮助呢，答案是肯定的。正是基于上述这种主观的行为模式，我们才需要对用户的历史行为进行建模，用户行为队列越长，包含的用户兴趣也就越丰富，但是同样也会带来更大的挑战，一方面用户的兴趣是发散的多元的，如何从发散多元的用户兴趣中找到真正对当前任务有帮助的兴趣是十分重要的；另一方面对更长的用户行为序列进行处理意味着线上系统承载的压力就越大，如何有效的将我们的想法或者实践部署到真正的线上生产环境中就是另外一件十分重要的事情了。所以本文主要介绍了阿里妈妈在具体的业务场景中面对上述两个问题时的一些解决思路以及方案。
三、系统架构
整个系统架构如下图所示
系统架构
为了解决上述存在内存以及耗时的问题，文章中将长序列用户行为特征的建模分为了两个模块，即Genral Search Unit（GSU）和Exact Search Unit（ESU）。通俗一点讲，我觉得这里的思路很想广告推荐系统的召回和排序模块。召回模块是负责从候选广告中筛选出尽量相关的广告送给后续的排序模块进行处理，排序模块则是在此基础上将这部分候选广告按照点击率（或者说是ECPM）来进行排序；类似的，GSU是负责从全部用户行为队列中（可能长达1000）筛选出与当前目标广告相关的候选行为，ESU在此基础上利用筛选后的信息进行有效的建模。其实如果理解了这一点思路的话，整个论文的大致思路就是比较清晰的了。下面具体介绍GSU和ESU模块
1、GSU 模块
如上文提到GSU做的工作很像广告推荐系统中召回模块的作用，那我们通常在召回阶段是怎样做的呢，一般多路召回会涉及到基于规则和策略的召回链路，同时也会包含基于Embedding的召回链路。在论文中提到GSU部分就主要借鉴了这两种召回的思路，提出了两种候选行为序列检索方法，即hard-search和soft-search，前者可以认为是基于规则和策略的，后者可以认为是基于Embedding内积相似度的，即
hard-search的方法比较直观而且实施起来比较简单，就是我们从候选行为序列中按照给定规则筛选出与当前目标任务相关的候选集，举个例子，我在淘宝上历史浏览过很不同种类的商品（比如电子产品、男装、男鞋等等），当候选广告是手机时，hard-search方法会从我历史行为队列中筛选出电子产品相关的行为进行建模，用于PCTR预估，而男装、男鞋大概率就不会对这次预估产生影响，通过上面这个例子大家应该能明白这种基于规则和策略的思路。论文中指出hard-search方法使用的是商品类别作为筛选的标准。
soft-search就是利用一个DNN模型来对每个候选行为序列进行建模，离线计算得到一个embedding，然后将候选广告embedding和历史行为中的embedding算一个内积相似度，利用近似最近邻检索方法（论文中用的是ALSH）来得到topK相关的候选行为序列。这种方法的缺点就是计算开销比较大，不如基于规则的hard-search方便，优点就是效果应该会更好一些。但是论文中也提到了两种方法在效果上的差异不是特别的大，所以最后基于性能和效果的折中，采用了hard-search这种比较简单的方式。
2、ESU 模块
ESU部分就是对GSU部分生成的较短的用户行为序列进行建模计算了，可以使用之前阿里这边提出的基于Attention的各种深层模型对用户行为序列进行weighted sum-pooling，更好的提升PCTR预估的精确度。这部分的工作就可以参考阿里妈妈之前发表过的一些论文
四、线上系统部署
线上系统架构
广告推荐系统对线上的计算耗时要求还是比较严格的，因为要保证用户最基本的用户体验。随着用户行为序列的进一步增长，采用传统的方式直接对长序列用户行为进行计算耗时和内存占用会增长的特别快，所以需要有针对性的对线上系统进行一定的升级和改造。文章提到在hard-search和soft-search的选择中，是基于大量的离线实验结果最终决定采用hard-search这种方便快捷有效的方式，同时信息损失也在可以接受的范围内。初次之外如何高效的构建索引来检索topK相关行为也是提升性能的关键。文章针对每个用户采用的是两层索引的结构，即mid—item category—behavior item这种key-key-value的形式。这种索引结构可以在离线就构建好之后直接部署到线上。
五、实验效果
这里只贴一下线上A/B实验阶段的效果，具体的一些离线实验可以参考论文中的表述
线上A/B Test效果
六、总结
已经有越来越多的实践证明，用户的历史行为兴趣对于CTR/CVR预估来说是一类非常有用的特征，通过对用户历史行为的建模可以带来显著的收益，但是通常受制于线上服务的性能压力，会对用户的行为序列长度进行一定的截断，这当然会带来一定的信息损失，如何有效挖掘用户更丰富行为特征背后的商业价值是需要好好思考的。所以阿里这边论文我觉得更多的价值是在思考如何协同改进我们的算法和线上系统，使得我们的整个工程架构能够更好的满足业务模型的落地，从而形成一个良好的闭环。
论文链接
https://arxiv.org/pdf/2006.05639.pdfarxiv.org相关用户兴趣建模文章
被包养的程序猿丶：阿里妈妈长期用户历史行为建模——MIMN模型详解zhuanlan.zhihu.com欢迎感兴趣的小伙伴关注知乎专栏
https://www.zhihu.com/column/HIT-LXwww.zhihu.com发布于 08-18 「谢谢老板」 还没有人赞赏，快来当第一个赞赏的人吧！ 推荐算法 ctr预估 深度学习（Deep Learning）
文章被以下专栏收录
推荐阅读
阿里妈妈TDM模型详解
被包养的程...发表于独立团丶阿里 at KDD 2019，CTR预估中超长用户行为序列建模实践与批判性读后感
深度发表于深度推荐系...SDM：用户长短期兴趣召回模型
阿伟Jef...发表于推荐和广告...阿里TDM：Tree-based Deep Model
背景与介绍推荐本质上需要完成从全量商品库高效检索Topk相关商品，由于候选商品数量过于庞大，现在的推荐系统一般分为两个阶段：召回和排序。对于召回阶段，面临着从全量商品库里面，高效召…
梦想做个翟...发表于深度学习强...1 条评论
写下你的评论...-
球笛09-09 这篇论文关于soft-search有demo吗