互联网智能推荐系统

互联网智能推荐系统 一、推荐系统概念和形式化定义 互联网规模和覆盖面的迅速增长带来了信息超载的问:过量信息同时呈现使得用户无法从中获取对自己有用的部分，信息使用效率反而降低。推荐系统作为一种信息过滤的重要手段，是当前解决信息超载问题的非常有潜力的方法。推荐还研究用户模型和用户的喜好，基于社会网络进行个性化的计算，推荐是由系统主导用户的浏览顺序，引导用户发现需要的结果。高质量的推荐系统会使用户对该系统产生依赖。 目前被广泛引用的推荐系统的非形式化概念是Resnick和Varian在1997年 剐给出的:“它是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程”。推荐有3个组成要素:推荐候选对象、用户、推荐方法。用户可以向推荐系统主动提供个人偏好信息或推荐请求，或者用户不提供，而是推荐系统主动采集。推荐系统可以使用不同的推荐策略进行推荐，如将采集到的个性化信息和对象数据进行计算得到推荐结果，或者直接基于已建模的知识数据库进行推荐。推荐系统将推荐结果返回给用户使用。 二、现有的推荐算法 推荐算法是整个推荐系统中最核心和关键的部分，在很大程度上决定了推荐系统类型和性能的优劣。目前，对推荐系统的分类并没有统一的标准，很多学者从不同角度对推荐方法进行了不同的划分。但主流的推荐方法基本包括以下几种:基于内容推荐、协同过滤推荐、基于知识推荐和组合推荐。 1、基于内容的推荐 基于内容的推荐是指根据用户选择的对象，推荐其他类似属性的对象作为推荐，属于Schafer划分中的方法。不需要依据用户对对象的评价意见。对象使用通过特征提取方法得到的对象内容特征来表示，系统基于用户所评价对象的特征，学习用户的兴趣，从而考察用户资料与待预测项目相匹配的程度。 2、协同过滤推荐 协同过滤推荐技术是推荐系统中最为成功的技术之一。大量论文和研究都属于这个类别。其基本思想非常易于理解，在日常生活中，我们往往会利用好朋友的推荐来进行一些选择。协同过滤正是把这一思想运用到推荐系统中来，即基于其他用户对某一内容的评价向目标用户进行推荐。基于协同过滤的推荐系统可以说是从用户的角度进行推荐的，并且是自动的，也就是说，用户所获得的推荐是 系统从用户购买或浏览等行为中隐式获得的，不需要用户主动去查找适合自己兴趣的推荐信息，如填写一些调查表格等。其另外一个优点是对推荐对象没有特殊的要求(而基于内容的推荐需要对推荐对象进行特征分析)，能够处理非结构化的复杂对象，如音乐、电影等。 3、基于知识的推荐 基于知识的推荐在某种程度上可以看成是一种推N(inference)技术。它不是建立在用户需要和偏好基础上推荐的，而是利用针对特定领域制定规来进行基于规则和实例的推理。效用知识是一种关于一个对象如何满足某一特定用户的知识，因而能够解释需求和推荐的关系，用于推荐系统。效用知识在推荐系统中必须以机器可读的方式存在。 4、组合推荐 组合推荐的一个最重要原则就是通过组合后应能避免或弥补各自推荐技术的弱点。研究和应用最多的是内容推荐和协同过滤推荐的组合。尽管从理论上有很多种推荐组合方法，但不同的组合思路适用于不同的应用场景。我们将研究人员提出的组合思路大致分为如下3类: 1、后融合:融合两种或两种以上的推荐方法各自产生的推荐结果。如使用基于内容的方法和协同过滤方法分别得到推荐列表，融合列表的结果决定最后推荐的对象。 2、中融合:以一种推荐方法为框架，融合另一种推荐方法。如以基于内容的方法为框架，融合协同过滤的方法，或者以协同过滤的方法为框架，融合基于内容的方法。 3、前融合:直接融合各种推荐方法。如将基于内容和协同过滤的方法整合到一个统一的框架模型下。 三、推荐系统的重点、难点问题 随着近年来对推荐系统研究的开展，很多研究中的重点、难点问题得到研究者的关注和共识，主要包括: 1、特征提取问题 虽然在信息检索中，文本等对象特征的提取技术已经很成熟，但是推荐系统的对象不一定具有文本特征或者文本不足以作为描述，此时特征的选择出现了问题。另一个问题是特征的区分性问题，大规模数据情况下不同对象的特征错配会影响系统性能。 2、模型过拟合问题(可扩展性问题) 推荐系统中推荐算法无法完全掌握用户每个方面的兴趣和需求，因为用户之前没有对足够多类别的对象进行评价。过拟合现象是指系统推荐给用户的对象与 用户刚刚看过的不是太相似，就是太不相关。模型过拟合(过学习)的问题本质上来自于数据的不完备性，这在实际应用中是无法完全避免的。在信息检索领域这类问题广泛存在，解决的主要方法是引入随机性，使算法收敛到全局最优或者逼近全局最优。 3、新用户问题 系统没有存储或者存储很少新用户的信息，包括查看对象的历史和新用户对对象的评分，基于模型的方法无法获得训练数据而基于规则的方法难以进行推理。 4、新对象问题 新用户和新对象问题都属于冷启动问题。在推荐系统尤其是协同过滤系统中，新对象加入数据库后必须等待一段时间才有用户查看并进行评价(点击、打分、评论等都是评价的手段)。在评价达到一定数量之前无法对此对象进行分析和推荐。不同于新用户问题，这类问题一般考虑使用组合推荐的方法来应对。