个性化微博推荐算法

个性化微博推荐算法 王晟，王子琪，张铭 (北京大学信息科学技术学院，北京 100871) 摘要:微博不同于传统的社会网络和电子商务网站，存在用户活跃程度低、微博数据稀疏和 5 用户兴趣动态变化等特点。由于这些挑战的存在，因此将传统推荐算法应用于微博推荐时， 效果并不理想。本文提出一种基于贝叶斯个性化排序的微博推荐算法，对用户进行个性化微 博推荐。所提出的基于贝叶斯个性化排序的微博推荐算法，以微博对的形式提取微博系统中 的隐式信息，对这些微博对学习，从而得到用户对不同微博的兴趣值。根据每条微博发出的 时间，估计每条微博对的可信度。发出时间越接近的微博对，它的可信度就越高并且对用户 10 的兴趣值影响就越大。通过在新浪微博的真实数据上进行实验和评测，结果明本文所提出 的基于贝叶斯个性化排序的微博推荐算法相比于对比算法，在进行推荐微博时有更好的效 果。 关键词:微博;推荐;贝叶斯个性化排序 中图分类号:TP391 15 A Personalized Recommendation Algorithm on Microblogs Wang Sheng, Wang Ziqi, Zhang Ming (Peking University, Electronics Engineering and Computer Science, Beijing 100871) Abstract: Microblogging community is different from conventional social networks or 20 e-commerce systems for its low user activity, data sparsity and dynamic of user-interests. Because of these challenges, conventional recommendation algorithms cannot get desirable performance in microblogging community. This paper proposes a novel recommendation algorithm based on Bayesian Personalized Ranking (BPR) by modeling user’s implicit feedbacks in microblogging community. The proposed algorithm collects implicit feedbacks in the form of microblogs pairs 25 and uses them as training pairs to learn users’ interest. This paper defines a confidential score for each microblogs pairs based on the time user received it. Microblogs pairs with shorter interval time have higher confidential score and thus have much more impact on user’s interest. Experiments on two real-world Microblogs datasets show that our recommendation algorithm outperforms all the baselines. 30 Keywords: Microblogs; Recommendation; Bayesian Personalized Ranking 0 引言 Web2.0 时代，一个具有代表性的网络现象，就是微博的兴起。微博让人们通过虚拟的 网络来获取实时、海量的信息。现在流行的微博网站，国外有 Twitter，国内有新浪微博等。 35 在微博上的研究也有许多，比如在微博上找到影响力最高的用户[1]，在微博上进行广告的宣 传和投资[2];检测微博信息的真实性，从而防止谣言的传播[3];对微博信息分类[4]等。 在微博上关于推荐的研究也有很多。大部分是进行好友推荐、散列标签(Hash Tag)推 荐或者新闻推荐，而对于微博中主要的载体，简短却包含海量实时信息的微博推荐的研 究则不多。微博内容推荐(以下简称微博推荐)有以下三个难点: 40 基金项目:自然科学基金(61272343);教育部科技发展中心网络时代的科技论文快速共享专项研究资助课 (2011110);核高基项目(2011ZX01042-001-001) 作者简介:王晟，(1991-)，男，上海人，北京大学本科生，研究兴趣为社会网络分析、推荐算法等。Sheng Wang was born in 1991. He is an undergraduate student at Peking University. His research interests include analysis of social network and recommendation algorithm 通信联系人:张铭，(1966-)，女，北京大学教授、博士生导师，研究领域为文本挖掘、社会网络分析等。 Ming Zhang was born in 1966. She is a professor and doctoral supervisor at Peking University. Her research interests include analysis of social network and text data. E-mail: mzhang@net.pku.edu.cn -1- (1)用户的活跃程度低。在传统的推荐系统中，用户登录一个推荐系统，就是为了选 择一些他想要的资源。而在微博推荐中，许多用户上微博，更多的时间处于“看微博”，而 不是“发微博”，因此很难直接获得他们的显式反馈信息，也难以对他们的兴趣进行学习和 预测。 45 (2)数据的稀疏性和不对称性。在传统的推荐问题中，用户和资源一般是同一个数量 级的。但是在微博推荐问题中，由于微博数据海量的特点，微博的数量和增长速度远远大于 用户的数量和增长速度。 (3)用户兴趣的动态变化。微博的话题一直紧随现实世界的发展，导致微博上话题不 断变化，用户的兴趣也随之变化。在传统推荐问题中，往往是用户根据兴趣选择资源。在微 博推荐中，则是不断出现的微博改变着用户的兴趣，再由用户选择喜欢的微博。因此用户的 50 兴趣一直在动态变化，很难找到一个用户长时间感兴趣的话题。 推荐系统中大部分研究都是利用系统中的一些显式信息来进行学习和预测。显式信息指 的是由用户主动提供给网站的信息，如用户的资料、用户喜爱的资源。而与显式信息对应的 隐式信息，指的是网站自动获得的信息，如用户的浏览时间、上下文环境等。在现实世界中， 大量的信息都是隐式信息而不是显式信息。相比显式信息，隐式信息不需要用户主动来提供， 55 因此更容易在实际应用中被使用。事实上，在用户浏览的过程中，浏览器和服务器都已经记 录了大量的隐式信息，可以通过各种方法从后台数据库中和浏览日志中挖掘出来。在微博系 统中，也存在着多种隐式信息。例如，用户发出微博的时间、用户浏览微博时上下文环境、 用户与其他用户之间的好友关系。 [5] 针对以上难点，本文提出了一种基于贝叶斯个性化排序 60 (Bayesian Personalized Ranking， BPR)的微博推荐算法。BPR 的主要思想是，利用贝叶斯最大后验估计求出微博 对之间的全序关系，从而获得用户对微博的个性化排序。本文的贡献有: (1)利用推荐系统中用户浏览上下文环境这个隐式信息，来解决微博推荐问题中用户 活跃程度低、发出微博少的问题。 65 (2)利用基于微博对的推荐算法来解决数据的稀疏性和不对称性。 (3)利用微博所发出的时间这个隐式信息，来实时地获取用户的当前兴趣，从而解决 用户兴趣动态变化的问题。 1 相关工作 Twitter 有许多推荐算法的应用，比如根据用户的资料和兴趣，为其推荐可能感兴趣的 好友[6-7];在用户撰写微博时，根据微博的内容，为其推荐合适的散列标签[8];根据用户以 70 往转发的微博和关注的话题，为其推荐可能感兴趣的热点新闻[9-10]。 推荐系统算法中，比较成功的是协同过滤算法。基于用户的协同过滤算法[11]通过将用 户与系统中其他用户进行比较，找到兴趣与该用户最相似的用户群，通过对这个用户群进行 学习，从而对该用户的行为进行预测。这个算法基于现实世界的一个理论“与我行为相似的 人喜欢这个东西，那么我通常也会喜欢这个东西”。 75 基于用户的协同过滤算法主要有两个模型，最邻近点对模型和潜在参数模型。 (1)最邻近点对模型[12] 最邻近点对模型首先定义一种用户相似性的评价。当要预测用户 u 对一个资源 i 的 兴趣值时，由与用户 u 最相似的邻居群对资源 i 的兴趣值来决定。例如，将用户 u 的“邻居” -2- 们对资源 i 的兴趣取平均值，作为用户 u 对资源 i 的兴趣值。 80 (2)潜在参数模型[13] 潜在参数模型通过学习未被直接观察到的参数，来预测推荐系统中未观察到的值。一个 Wu ，对每个资 典型的潜在参数模型是矩阵分解模型[14]。对每个用户 u ，找到一个 k 维向量 H i 。并且假设模型中每个用户 u 对每个资源 i 的兴趣为对应的潜在 源 i ，找到一个 k 维向量 Wu 和 H i 的内积。 向量 85 2 微博推荐 个性化推荐算法的目标是提供给每个用户个性化的、最有可能会感兴趣的一个资源序 列。本文提出的微博推荐算法即为一个个性化推荐算法，目标是为每个用户提供一个他最可 能会感兴趣的微博集合。本文以实际微博系统中，用户转发了这条微博来模拟用户选择了这 条微博。还将用户对微博的行为定义为回应:用户看到并且转发了这条微博，则为正回应; 90 其他的情况，包括用户未看到这条微博或者用户看到了这条微博但是没有转发，都作为未来 可能要预测的缺失回应。 传统的推荐算法在推荐时，会给用户提供多个资源进行选择，这些资源就构成了用户选 择的上下文环境。用户最终会在这些资源中选择一个、多个或零个资源。许多推荐算法忽视 了用户所处的上下文环境，即用户是在与什么资源比较下选择了当前资源，而仅仅考虑了用 95 户的最终选择。例如，电影推荐网站，电驴网给用户推荐电影时，通常会给用户 7 部电影选 择。用户从中选择一部，而其余的 6 部则被舍弃。传统的推荐算法只将这被选中的一部作为 正回应，而忽视了其他的 6 部所代表的负回应，仅仅将他们作为缺失数据。在微博推荐问题 中，由于用户的不活跃导致用户选择的微博数量少，而用户面对的可选微博数量又非常大， 因此本文通过考虑上下文环境来收集隐式信息。 100 另一方面，由于微博信息的实时性和大量性的特点，用户的兴趣会不停地随着最近发出 的微博内容而变化。统计结果表明，用户在面对不同时间段发的微博，喜好的程度也会随着 时间变化。这时候就需要一种能够考虑时间因素的推荐算法。[15] 为了能够考虑上下文环境和时间因素，本文使用微博对来代替微博作为训练集，这里的 (u, i, ji, , t t j ) 。这个五元组的含义是，用户 u 在同时面对微博 i 和 微博对定义为一个五元组 105 t t 微博 j 时选择了微博 i ，而没选择微博 j 。 i 为用户 u 发出微博 i 的时间， j 为微博 j 发出 的时间。 DS 由此，定义训练集 , DS :, , u, i, j, ti , t j ) | i I ， , j I \ I ， ( u u 110 这个定义有以下几个优点: (1)通过微博对，可以将用户所处的上下文环境也考虑进去，不仅仅考虑用户实际转 发的微博，也考虑了用户未转发的微博，利用了微博数据量大的特点，来弥补数据稀疏和用 户活跃程度低的问题，从而扩大训练集，使得推荐效果更好。 (2)引入时间变量，根据微博实时性、话题不断变化的特点，更好的预测用户兴趣。 -3- 3 基于 BPR 的微博推荐算法 115 形式化定义 3.1 定义U 为所有用户构成的集合， I 为所有微博构成的集合， S 为所有观察到的正回应 构成的集合。在微博推荐问题中，S U , I 。例如一个用户 u 转发了微博 i ，则 (u, i) 就是 一个正回应，并且属于 S 。本文的算法是为每个用户找到一个对于所有微博的个性化的全序 ,u 。 ,u 满足全序关系的三条性质: 关系 120 完全性: i, j I : i , j , i ,u j ， j ,u i 反对称性: i, j I : i ,u j , j ,u i , i , j i, j, k I : i ,u j , j ,u k , i ,u k 传递性: 125 矩阵分解模型 3.2 X 为用户与微博的兴趣矩阵 X :| U | , | I | 。 X 是一个实数值矩阵， X ui 的值越高，代 表用户 u 对微博 i 的兴趣值越高。 当进行矩阵分解时，兴趣矩阵 X 被近似成两个低秩矩阵 W :| U | ,k 和 H :| I | ,k 的 Wu 对应每个用户的特征向量，矩阵 H 的每一行 H i 所 积。矩阵W 的每一行所表示的行向量 130 表示的行向量对应每个资源的特征向量。维数 k 表示矩阵分解模型的潜在参数，k 一般远小 于 | U | 和 | I | ，以此达到矩阵分解时降维的作用。 t ˆ 满足 : X :, WH (1) k xˆui , wu , hi , wuf , hif f ,1 (2) W 和 H ，从而使得 Xˆ 研究的目标是通过基于 BPR 的微博推荐算法，找到最合适的矩阵135 与 X 最为近似。 基于 BPR 的微博推荐算法描述 3.3 BPR 算法利用最大后验估计来求出参数矩阵W 和参数矩阵 H 。根据贝叶斯公式: p(, ,u ) p(,u , ) p(, ) (3) ,u 代表用户 u 对于不同微博的全序关系，, 即为参数W 和 H 。 这里， 140 假定不同用户之间对于微博的选择是相互独立的，并且一个用户对不同微博对的选择也 是相互独立的，根据概率的积公式，有: -4- , ((u,i, j) DS ) ,) , j, ) p(,u p(i ,u u U (u,i, j) U,I,I ,(1 p(i ,u j, )), ((u,i, j ) DS ) (4) 如果b成立 , 1 否则 ;0 其中， 这个公式可以被简化为: 145 , ) , j , ) p(, p(i , u u u U (u ,i , j ) DS (5) 假设一个用户 u 在面对微博 i 和微博 j 时，选择了微博 i 的概率为: p(i ,u j , ) :, , ( xˆuij (, )) (6) 1 , ( x) :, 1 ， e x ，xˆuij 是与模型参数, 相关的一个函数，xˆuij 代表用户 u 在面对微 其中， i 和微博 j 时，选择微博 i 而非选择微博 j 的偏好分值。 博150 假设这个偏好分值与用户与微博的兴趣矩阵中用户 u 对微博 i 的兴趣值减去用户 u 对 xˆ 微博 j 的兴趣值成正比。因此 uij 定义为: xˆuij , ( xuiˆ xˆuj ) , f (it t j ) ， (7) xˆ 其中 f (t) 是关于时间的一个函数。 ui 已经在 4.2 中定义。 根据对微博的观察发现，用户更偏向于转发最近发出的微博，并且对于一条微博的兴趣 155 会随着时间下降[16]。所以，令: f (t ) , 1/ t ， (8) 这样定义的直观含义是:两条微博时间差距越大，则对应微博对的全序关系可信度越小; 时间差距越小，则对应微博对的全序关系可信度越高。 为了求出后验概率，还需要获得参数W 和 H 的先验概率。假设参数W 和 H 的先验概 160 率分布符合一个均值为 0 的正态分布。 p(, ) ~ N (0, , ) (9) 至此，可以使用最大后验概率估计的方法求参数W 和 H 。 BPR OPT :, ln p(, ,u ) , ln p(,u ,) p(,) , ln ) p(,) ˆ , (xuij (u,i, j) DS , ˆ ln, (xuij) ， ln p(,) (u,i, j) DS 2 , ˆ ln, (xuij) ， ， , (u,i, j) DS (10) 165 对于训练集中的每一组训练数据，基于 BPR 的微博推荐算法的时间复杂度是 O(K)。 -5- 4 学习算法 对于上一节得到的目标函数，采用梯度下降法作为学习算法。 首先将目标函数对于参数, 求导 BPR OPT 2 , ln,(xuijˆ)，， , , , , (u,i, j) D S xˆ e uij , xˆuij，，, xˆuij , 1，e (u,i, j) DS (11) xuij 根据 的定义，有 170 , (hif hjf ) uf 如果 , , w , 如果 , , hif , wuf xˆuij , , , 如果 , , hjf , wuf 否则 ,;0 (12) 梯度下降算法过程: 第一步，初始化W 、 H 为正态分布矩阵 DS 中的每个五元组，迭代对应的参数W 和 H 第二步，遍历训练集 xˆ e uij , , ， ， ( , xˆuij ， ,, ) xuij ˆ , 1 ， e 175 (13) 第三步，判断迭代是否收敛。若收敛，则算法结束。否则，转到第二步。 5 实验结果及分析 本节给出使用基于 BPR 的微博推荐算法在真实微博数据上进行推荐的实验结果。 数据集与数据整理 5.1 实验使用了新浪微博上独立爬取的两个数据集，如表 1 所示。数据集 1 的规模是 1000 180 个用户，每个用户的最近 200 条微博和这 1000 个用户之间的好友关系。数据集 2 的规模是 5000 个用户，每个用户的最近 200 条微博和这 5000 个用户之间的好友关系。每条微博都包 含了微博内容和发出的时间。每个用户的 200 条微博时间跨度最长有 15 个月，最短只有 20 天。 185 1000 用户的数据集共包含 139965 条不重复的微博。1000 个用户之间相互关注的用户对 有 31525 对，单向关注的用户对有 67524 对。平均每个用户有 64 个双向关注好友和 68 个单 向关注好友。将 11 月 15 日之前发出的微博作为训练集，将 11 月 15 日之后发出的微博作为 测试集，使得训练集中微博个数和测试集中微博个数比例为 9:1。在生成微博对时，先删 u ，对于其发出的每一条微博 j ，提取了用户 除了只出现一次的微博。其次，对于特定用户 u 好友发出的、时间在微博 i 之间，并且处于同一天的微博 j ，构成了五元组 (u, i, j, ti , t j ) ， 190 t j t 分别是微博 i 和微博 j 发出的时间。最后训练集中有 638422 对微博对，测试集中 其中 i 和 有 6905 对微博对。 -6- 图 1 数据集 2 中用户的转发率 Fig.1 Users’ retweet proportion in dataset 2 195 5000 用户的数据集共包含 630495 条不重复的微博。5000 个用户之间相互关注的用户对 有 118577 对，单向关注的用户对有 599223 对。平均每个用户有 48 个双向关注好友和 119 个单向关注好友。训练集的划分和微博对的提取与 1000 用户相同。最后训练集中有 4203325 对微博对，测试集中有 87184 对微博对。图 1 是数据集 2 中用户的活跃情况，图中的转发率 200 指的是用户转发的微博在其收到的所有微博中占的比例。 表 1 数据集 1 与数据集 2 的训练集 Table1 training data of dataset 1 and dataset 2 不重复微博个数 MF 的训练集大小 BPR 的训练集中大 MF 与 BPR 的训练集大 小之比 139965 23728 638422 1 : 27 数据集 1 630495 99326 4203325 1 : 42 数据集 2 205 评估标准与对比算法 5.2 实验评估标准采用了 AUC标准[17] 1 1 AUC , , ( xˆui , xˆuj ) E(u) U u (i, j )E (u ) (14) E(u) :, ,(i, j) | (u, i) Stest , (u, j ) (Stest , Strain ), AUC 其中， 越高代表了越准确的 AUC是 0.5， AUC的上限是 1。 排序质量。一个随机的正态分布的210 本文选用了矩阵分解(matrix factorization, MF)算法与全局最优算法(most popular, MP) 作为对比算法。全局最优算法将所有的微博按照全局被转发的次数进行排序。这个算法基于 一个原理:用户倾向于更关注最热门的话题。 实验方法 5.3 实验初始时，将W 矩阵和 H 矩阵初始化为服从 N ，0,0.01， 分布的随机数。在迭代过程， 215 Wu 和 H i 。之后在测试集上根据学习出的矩阵W 先对训练集中每组微博对，迭代更新对应的 和 H 进行测试，计算测试集的 AUC。若 AUC与上次 AUC的差小于 0.001，则停止迭代， 否则继续迭代。 ，, 分别为 0、0.1、0.01、0.001、0.0001 迭代过程中的学习速率设为 0.01[18]。补偿项参数 K 分别为 8、16、32、64 和 128。 和 0.00001。矩阵的潜在参数220 -7- 实验结果和讨论 5.4 首先，通过图 2 和图 3，可以看到基于 BPR 的微博推荐算法要比 MF 算法和 MP 算法更 好的适用于微博。在 1000 用户的数据集上，基于 BPR 的微博推荐算法要比 MF 算法高出了 个百分点。在 5000 用户的数据集上，基于 BPR 的微 8 个百分点，同时比 MP 算法高出了 9 225 博推荐算法要比 MF 算法高出了 7 个百分点，同时比 MP 算法高出了 8 个百分点。由此可见， 基于 BPR 的微博推荐算法比 MF 算法和 MP 算法有更好的效果。 图 2 数据集 1 中对比算法和本文提出的算法的对比 Fig.2 Comparison of baselines and our proposed algorithm in dataset 1 230 图 3 数据集 2 中对比算法和本文提出的算法的对比 Fig.3 Comparison of baselines and our proposed method in dataset 2 235 其次，通过图 2 和图 3，基于 BPR 的微博推荐算法分别在维度为 32 和 64 时效果最好， 而当维度继续增大时，效果会下降。这表明，基于 BPR 的微博推荐算法在维度过高时，会 出现过学习的情况，影响推荐结果。MF 算法在维度较高时会有较好的结果，MP 算法与维 度无关。 240 再次，通过图 4 和图 5，可以看到不同的补偿项参数对基于 BPR 的微博推荐算法结果 的影响。在 1000 用户数据集，补偿项取 0 时 AUC的值最高。在 5000 用户数据集，补偿项 取 0.00001 时 AUC的值最高。 -8- 图 4 数据集 1 中补偿项参数对 AUC 的影响 245 Fig.4 The impact of regularization on AUC in dataset 1 图 5 数据集 2 中补偿项参数对 AUC 的影响 Fig.5 The impact of regularization on AUC in dataset 2 250 最后，通过表 1，可以看到，当 1000 用户数据集使用 MF 算法时，训练集共有 23728 个训练样本。而通过使用微博对作为训练样本后，基于 BPR 的微博推荐算法的训练集共有 638422 个训练样本，MF 算法与基于 BPR 的微博推荐算法训练集大小比例为 1 : 27。当 5000 用户数据集使用 MF 算法时，训练集共有 99326 个训练样本。同样，基于 BPR 的微博推荐 255 算法使得训练集增大到 4203325 个训练样本，MF 算法与基于 BPR 的微博推荐算法训练集 大小比例为 1 : 42。由此可见，通过利用微博上下文环境这个隐式信息，以微博对作为训练 集，大大增加了训练集的个数，从而解决了用户活跃度不高和数据稀疏，导致训练样本不足 的问题。而且数据集规模越大，使用微博对进行训练的效果越好。 6 总结 260 本文研究了微博推荐问题的难点，以及与传统推荐问题的不同。同时设计了一种基于 BPR 的微博推荐算法。相比于 MF 算法，利用微博对作为训练集，在目标函数中也加入了 时间差的影响。随后，在真实数据集上对该算法进行评测，并且在不同的维度和不同的补偿 项参数下，全面比较了对比算法和基于 BPR 的微博推荐算法。实验结果表明，基于 BPR 的 微博推荐算法在不同维度和补偿项参数上都优于对比算法，并且能够解决用户活跃程度低、 265 数据稀疏不对称和用户兴趣动态变化等难点。在今后的工作中，还将进一步考虑微博中的用 户之间关系和微博系统中冷启动现象。 [参考文献] (References) [1] Weng J, lim E, Jiang J, et al. TwitterRank: Finding Topic-sensitive Influential Twitterers[C]// Proceedings of 270 the third ACM international conference on Web search and data mining Pages 261-270. [2] Cha M, Haddadi H, Benevenuto F, et al. Measuring User Influence in Twitter: The Million Follower Fallacy. [C]// Proceedings of twenty-fourth conference on Artificial Intelligence 2010, Pages 10-17. -9- [3] Qazvinian V, Rosengren E, Radev D, et al. Rumor has it: Identifying Misinformation in Microblogs[C]// Proceedings of the Conference on Empirical Methods in Natural Language Processing Pages 1589-1599. 275 [4] Grove F, Sen S. TwitAg: A Multi-agent Feature Selection and Recommendation Framework for Twitter [J]. Lecture Notes in Computer Science, 2012, Volume 7057/2012, 394-397, DOI: 10.1007/978-3- 642-25920-3_28 [5] Rendle S, Freudenthaler C, Gantner Z, et al. BPR:Baysian Personalized Ranking from Implicit Feedback [C]//. Pages 452-461 AUAI Press Arlington, Virginia, United States ?2009 table of contents ISBN: 978-0-9749039-5-8 [6] Hannon J, McCarthy K, Smyth B. Finding Useful Users on Twitter: Twittomender the Followee Recommender 280 [J]. Lecture Notes in Computer Science, 2011, Volume 6611/2011, 784-787, DOI: 10.1007/978-3-642-20161-5_94 [7] Hannon J, Bennett M, Smyth B. Recommending Twitter Users to Follow Using Content and Collaborative Filtering Approaches[C]// Proceedings of the fourth ACM conference on Recommender systems Pages 199-206 [8] Zangerle E, Gassler W, Specht G. Using Tag Recommendations to Homogenize Folksonomies in Microblogging Environ- ments[C]// Proceedings of the Third International Conference on Social Informatics, 285 Pages 113-126. [9] Phelan O, McCarthy K, Smyth B. Using Twitter to Recommend Real-time topical news [J]. Lecture Notes in Computer Science, 2011, Volume 6984/2011, 113-126, DOI: 10.1007/978-3-642- 24704-0_16 . [10] Phelan O, McCarthy K, Bennett M, et al. Terms of a Feature - Content-based News Recommendation & Discovery Using Twitter [J]. Lecture Notes in Computer Science, 2011, Volume 6611/2011, 448-459, DOI: 290 10.1007/978-3-642-20161-5_44 . [11] Yang S, Long B, Smole A, et al. Collaborative competitive filtering: learning recommender using context for user choice[C]// Proceedings of the 34th international ACM SIGIR conference on Research and development in Information Retrieval, Pages 295-304. [12] McLaughlin M, Herlocker J. A collaborative filtering algorithm and evaluation metric that accurately model 295 the user experience[C]// Proceedings of the 27th annual international ACM SIGIR conference on Research and development in information retrieval Pages 329 - 336. [13] Canny J. Collaborative filtering with privacy via factor analysis[C]//Proceedings of the 25th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval Pages 238-245. [14] Koren Y, Bell R, Volinsky C. Matrix factorization techniques for recommender systems [J]. Computer, 300 Volume 42, Issue 8, Aug. 2009, pages 30-37. [15] Boyd D, Golder S, Lotan G. Tweet, Tweet, Retweet: Conversational Aspects of Retweeting in Twitter [C] // Proceedings of the 43rd Hawaii International Conference on System Sciences Pages 1-10. [16] Chen J, Nairn R, Nelson L, et al. Short and Tweet: Experiments on Recommending Content from Information 305 Streams [C] // Proceedings of the 28th international conference on Human factors in computing systems Pages 1185 - 1194. [17] Bardley A. The use of the area under the ROC curve in the evaluation of machine learning algorithms [J]. Pattern Recognition Volume 30, Issue 7, July 1997, Pages 1145-1159 [18] Rendle S, Schmidt-Thieme L. Pairwise Interaction Tensor Factorization for Personalized Tag 310 Recommendation [C]// Proceedings of the third ACM international conference on Web search and data mining.Pages 81-90. - 10 -