推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu


推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

 

Model-Agnostic Counterfactual Reasoning for Eliminating Popularity Bias in Recommender System

https://dl.acm.org/doi/pdf/10.1145/3447548.3467289

 本文中将会用到因果推断中反事实部分的知识,具体内容可以查看之前的文章,这里就不对反事实相关内容重复叙述了。

背景

        背景和上一篇的背景类似,都是为了解决流行数据偏差问题。想要详细了解例子的小伙伴可以查看上一篇文章推荐系统+因果推断(一)。这里进行简述,推荐系统中我们需要给用户提供个性化的推荐,而不是什么流行推荐什么。本篇文章作用于召回阶段而非排序阶段。

贡献:

    • 从因果推断的角度分析流行数据偏差问题,构建了因果图

    • 提出了MACR训练框架,在推理阶段缓解流行性带来的偏差

    • 通过丰富的实验证明了方法的有效性

方法

分析流行性数据偏差对召回模型的影响

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

        图(a)是传统的方式的因果图,只考虑user和item的交互,比如交互矩阵。而其中忽略了用户一致性和物品流行度对整体的影响,因此修改因果图,得到图(c)。在整个模型中,我们需要做的就是去除I->Y的影响,以此去除item流行性对最终结果的影响。

TE、NDE、TIE的概念

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

total effect(TE) 总效应:当推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu​ 变成推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu​后,所获得的效应。

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

natual direct effect(NDE) 自然直接效应,如第三张图,中间(K)不通,也就是说I的变化只会影响到Y但是不会影响到K,当推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu​ 变成推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu​后所获得的的效应。

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

total indirect effect(TIE)总间接效应:当推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu​ 变成推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu​后

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

 

MACR框架

模型结构

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

MACR是一个多任务模型,中间橙色部分是传统的推荐模型,用户匹配user和item,即K->Y。绿色部分为U->Y,蓝色部分为I->Y。三个分支得到的最终预测分数为

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

总体损失函数为

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

Lo,Li,Lu为橙,蓝,绿三个分支的二分交叉熵损失函数,以Lu为例:

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

反事实推断

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

    通过反事实推断,将real world的因果图转变为conterfactual world反事实世界的因果图。在推理阶段,通过下式去掉I->Y这条路径从而缓解item流行性偏差问题。

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

上式可由前述的TIE得到,c是超参数。

推导:

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

 

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

 

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

 

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

 

推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu推荐系统+因果推断(二)——kdd‘21用反事实推理缓解召回阶段的数据流行度偏差Model-Agnostic Counterfactual Reasoning for EliminatingPopu

 

 

简单总结:

    本文是首先训练了一个多任务模型,然后在推理也就是召回阶段,通常我们是得到分数,取前n个,但是此处作者考虑了数据流行性偏差问题,通过反事实推理,在推理阶段计算TIE来衡量哪个item更优,以此缓解上述问题。​

上一篇:程序设计与算法(三)C++面向对象程序设计 第七周 相关笔记


下一篇:CF1567 - C~F