数据分析学习资料教程

数据交流 新浪微博：@数据挖掘与数据分析 spss15.0@163.com 目录 蓝精灵体数据分析师版：“在那山的那边海的那边， 有一群数据分析师，他们苦逼又聪明，他们每天看数据，他们呕心沥血不 分昼夜都在赶，他们年复一年盼着涨工资。噢苦命的数据分析师，噢 苦命的数据分析师，他们齐心协力开动脑筋找出数据背后的规律，他们的 分析结果还是不被重视。”  数据分析就这样产生了？  数据分析思路  数据分析方法  数据分析应用及工具 我们公司的 数据越来越多， ‘老大’整天问我 要这数据，要哪数 据，可俺不是做数 据分析的？我只会 种地。。。 ‘数据big了’ 数据分析驱动业务发展？ •数据 —— 大量的，运营型数据 •用户和需求 ——业务决策支持的需求 •技术和方法 —— 计算能力的飞速发展 —— 多学科领域研究的发展 计算机便宜了！ ‘数据融合’ 数据分析与业务的结合开战。。。 市场推广 目标客户 定价优化 产品优化 用户保持 受众细分 …… 内容优化 数据分析木有思路，烦。。。 ‘业务复杂’ 不知从何而云？打破沙锅问到底！ 客户发展 客户保有 产品管理 提升A 渗透率？ 提升A 活跃度？ 降低A流失率？ 提升客户 价值？ 延长客户 生命周期？ 如何 客户维系？ 如何 客户挽留？ C产品管理 A产品管理 B产品管理 终端销售 提升终端 销售率？ 优化捆绑 营销案？ 电话营销 如何提升 电话营销 成功率？ 如何提升 电话营销 接触率？ 如何提升 电话营销 满意度？ 渠道管理 如何评估 渠道健康度？ 如何电子 渠道分流？ 如何 广告布放？ 如何发现 新市场？ 如何发现 新需求？ ‘思路决定价值’按规矩办事不会错的！ 8 > 定义问题 第一步  首先，要搞清 问题的实质， 准确、完整、 真实地达问 题。  其次，弄清楚 为什么要解决 这个问题？  最后，解决这 个问题的意义 何在？是必须 解决还是无关 紧要，或是需 要马上解决还 是不太着急。 第二步 收集整理 信息  搜集、整理 关于要解决 问题的历史 资料、类似 情况和现状。 例如，从现 有的报表数 据中就能够 看到当前问 题点的数据 情况或者一 段时间的趋 势； 第三步 选取分析 方法  分析涉及到 的主要维度， 为后面提取 数据需求作 准备；  选取的分析 软件以及分 析方法（统 计学相关方 法）。 第四步 数据提取 整理  根据分析内 容以及分析 方法，提出 分析所需的 数据需求；  对于反馈回 来的数据， 需要进行部 分加工，以 便更能反应 所要分析的 问题。 第五步 分析结果 及结论  根据分析的 结果，得出 一些当前问 题产生的一 些结论。这 里注意分析 的方法以及 维度，结果 的展示方式 等。  结论需要求 足够的数据 做支撑。 第六步 实施及建 议措施  针对数据分 析结论，给 出当前问题 的解决建议 措施。  一方面从业 务层面进行 建议措施， 另一方面， 可以就问题 点进行更深 层次分析， 给出数据挖 掘层面的解 决措施。 第七步 实施效果评 估及报告整理  根据措施实 施效果进行 实际评估， 将完成的分 析过程，结 果以及评估 整理报告， 为以后出现 问题提供经 验教训。  对于本次没 有完全解决 的问题，进 行说明。 两个重点步骤 ‘场景’从这里开始我们的旅行…… 市场总监:昨天咱们做EDM与push mail分别700万和1000万用户，但是实际使用 电子优惠券的用户不到5万，请告诉我原因是什么？ 分析师A（技术出身）： 接到需求就开始去技术部， 亲自操刀数据库，开始捞数 据了。。。，一会一个sql， 一会一个sum、average，2 天过去了。。。无果！ 分析师B（业务出身）： 制作了问题分解图，罗列 了许多因素，但是不知道 提取什么数据？找不到真 正驱动的因素； 分析师C（打杂出身）： 首先针对此次营销罗列了详 细的操作环节，针对每个环 节都列出主要的监控数据， 最后找到了此次营销失败的 原因！ ‘先动脑’ 别着急动手！ ‘指标拆分法’——数据分析师常用利器 总指标 分解指标A 分解指标B 分解指标… 影 响 因 素 影 响 因 素 影 响 因 素 影 响 因 素 影 响 因 素 影 响 因 素 影 响 因 素 影 响 因 素 影 响 因 素 ‘锁核心、抓重点、握主干’——数据分析师常用利器 数据分析方法杂谈 ‘常用必杀技’ 要熟练掌握的技能 从相同的角度去对不同数据集合进行对比，找出差异所在，并可进一步深入 挖掘差异原因； 从大量数据中找出按某种分类方法的Top N或Bottom N数据，这些数据代表 了需要特别关注的程度； 从大量历史数据中找出太高、太低、变化幅度过大等异常情况数据，支持预警 显示、预警提醒；并可进一步进行相关影响原因的数据挖掘 从时间序列分析随时间的变化趋势，找出其规律,如移动平均、同 比、环比等。 利用决策树、回归分析、神经网络、时间序列等数据挖掘算法对客户响应、流 失预警、收入预测、业务量预测、欠费预测等进行预测分析 测定现象之间相关关系 在统计分组的基础上，计算各组成部分所占比重，进而分析某一总体现象的内 部结构特征、总体的性质、总体内部结构变化规律的分析方法。 ‘趋势分析法’了解过去，脚踏今日，展望未来 平均增长 移动平滑 ‘对比分析法’没有绝对的事，都是相对的！ 我们网站的日访问量为1000？ A说‘太菜’ B说‘很牛’ C说‘还不错’ 与巨头比？ 与菜鸟比？ 与平均比？ ‘异常分析法’数据抽筋了吗？  有人说管理的核心就是异常情况管理。对企业经营管理中的各种经济现象中比较突出的部分 进行分析就基本可以找到问题所在和解决办法。这种方法可以称为异常分析法。 方法、设定标杆 按照“同一把尺子”观察分析不同的对象，因为业 务一般在一定区间内浮动，建议设为区间，但要注 意区间不易太大！ 标杆 标杆 ‘相关性分析’找关系好的 散点图 相关系数 PV SEM SEO CP UIUE 0.6 0.4 0.7 0.5 ‘结构分析法’咱们的蛋糕够大吗？  结构分析法是在统计分组的基础上，计算各组成部分所占比重，进而分析某一总体现象的内 部结构特征、总体的性质、总体内部结构变化规律的分析方法。 这些我都懂，太 Easy、太Easy！ 知道这些分析 方法我就可以成为 优秀的数据分析师 了？ 还有神马方法呢？ ‘技术图谱“实用的方法才是最好的方法！ 简单的数 据分析 多元统计 分析 数据挖掘  集中趋势分析：众数、中位数、均数  离散趋势分析：极差、方差、标准差  交叉表 数据加权  简单分析变量间关系  相对应用较广，较容易掌握和使用  对数据和使用者的要求较低  相关分析  回归分析  因子分析  聚类分析  对应分析  联合分析  分析变量间的因果关系、相似度等  多用于预测、 用户细分等场景  对数据要求：数据量要足够、数据周期 要足够；  对使用者的要求：需要掌握基本的统计 学知识和对业务有一定理解；  神经网络  决策树  等等  优势在于可以定制算法满足个性化需求和 具备自适应和自学习性；  对数据要求：  对数据量和数据健壮性要求均很高；  对使用者要求：对算法、业务的理解度均 高 主要分析方法 应用优劣势 这 些 只 是 冰 山 一 角 ！ 数 据 分 析 应 用 及 工 具 ‘数据分析应用“一份报告中多数是？ 23 . 100. 200. 300. 400. 500. 600. 700. 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 新闻频道各时段用户数 流量：Mb 次/人 K/人 人 人 新闻频道的PV和流量逐渐增高，其访问两次及以上用户数较多。 0 500 1000 1500 2000 2500 3000 3500 4000 4500 . 100,000. 200,000. 300,000. 400,000. 500,000. 3月 4月 5月 6月 7月 8月 9月 新闻频道访问用户数、PV、流量 访问用户数 访问PV 流量 0 10 20 30 40 50 60 70 80 0.0 2.0 4.0 6.0 8.0 10.0 3月 4月 5月 6月 7月 8月 9月 新闻频道人均PV、人均流量 人均PV 人均流量 . 5,000. 10,000. 15,000. 20,000. 沉淀用户数 访问2天及以上用户数 访问4天及以上用户数 新闻频道重复回访、沉淀用户数 ‘数据分析应用“数据挖掘模型 表现偏好飞信客户 客户 号码 飞信 客户 内容偏好 终端 交往圈 … 139** 1 聊天类(87%) 功能 23 136** 1 聊天类(89%) 智能 35 136** 1 娱乐类(72%) 智能 46 未表现偏好飞信客户 138** 0 聊天类(69%) 智能 10 137** 0 新闻类(87%) 智能 24 135** 0 娱乐类(58%) 功能 8 … … … … … 客户 号码 新闻类页面 浏览时长 评分 138** 0 0.65 137** 2.0 0.87 135** 0 0.81 158** 0 0.17 … … … • 通过数据挖掘决策树/LOSGITIC回归建模等方法，利用多数据整合对未直接表现出某项特征的 客户进行行为预测（潜在偏好/活跃/异动）。 选择表现出某项强烈特征或行为的客 户做为样本（如：新闻类内容偏好）， 预测其余客户具有同类行为趋势的评 分。 预测结果 以潜在偏好模型为例 挖掘模型可以对未表现显性 偏好的客户进行评分 评分越高的客户偏好新闻类 内容的可能性越大 样本选取 模型选择 预测结果 ‘数据分析应用“推荐系统 人口统计学 内容 简单的 客户 越来越多的互联网企业致力于挖掘 客户行为数据，并使其发挥出了魅力。 基于客户消费的数据 内容偏好 时段偏好 ARPU/MOU 订购数 据业务 数量 各业务 ARPU 各业务 MO …… 过去我 们的分析中 大量使用这 类数据，它 帮助我们了 解客户的消 费能力。 数据源：用户的读过、想读、在读、 评价行为（偏客户行为的数据源） 基于客户行为的数据 “你可以试着从更多的角度了 解你的客户，你越了解他们， 便越能获利。” ——【美】数据分析专家， Walter Janowski ‘兵器厂房’ 你懂几个？ 数据分析工具场，你懂几个？ @蝇子 @栗子面 @秋叶语录 @西岭夜雪 @曹将PPTao @Lonely_Fish @刘俊0730 @小田_PPT @我爱PPT @PPT精选 @无敌的面包 @教育技术秋记 @沈浩老师 @文彤老师 @刘德寰 @车品觉 @数据化管理 @william_ou @张磊IDMer @小蚊子乐园 @数据挖掘与数据分析 @郑来轶 @庖丁的刀 @sxlion @文心武行 @夏之朝露 @朝阳小魔 @刘万祥ExcelPro @MrExcel @演绎生动Excel图表 @每日图表 @图表汇 @数据知天下 @EasyTrace网站分析 @全国数据分析业协会 @ SAS中文论坛 @数据挖掘研究院 @中国统计网 @网站分析星期三 数据分析 数据分析与展现 PPT制作 ‘微博作坊’ 业余时间要看看？ ‘好书连连看’书非借而不能读书也？