为了正常的体验网站,请在浏览器设置里面开启Javascript功能!
首页 > 大数据分析技术架构解决方案

大数据分析技术架构解决方案

2020-03-30 29页 ppt 3MB 0阅读

用户头像 个人认证

棒棒笑

暂无简介

举报
大数据分析技术架构解决方案大数据分析技术架构解决方案*技术基础研究方向-技术基础研究方向 研究方向 关键任务 制高点 大数据可视化挖掘 1)新型内存迭代数据挖掘算法2)数据挖掘可视化开发平台3)房地产、金融、电信等机器学习模型研究 1)基于内存计算的机器学习算法2)行业大数据深度机器学习模型3)大数据可视化挖掘 大数据内存计算 1)基于内存的迭代算法研究2)内存大数据高速统计分析技术 1)基于大数据内存的计算技术2)国内产品领先 大数据语义分析 1)大数据自然语言识别2)非结构化数据的知识发现、集成技术 大数据平台的可视化集成目前是空白领域 大数据云计...
大数据分析技术架构解决方案
大数据分析技术架构解决*技术基础研究方向-技术基础研究方向 研究方向 关键任务 制高点 大数据可视化挖掘 1)新型内存迭代数据挖掘算法2)数据挖掘可视化开发平台3)房地产、金融、电信等机器学习模型研究 1)基于内存计算的机器学习算法2)行业大数据深度机器学习模型3)大数据可视化挖掘 大数据内存计算 1)基于内存的迭代算法研究2)内存大数据高速统计分析技术 1)基于大数据内存的计算技术2)国内产品领先 大数据语义分析 1)大数据自然语言识别2)非结构化数据的知识发现、集成技术 大数据平台的可视化集成目前是空白领域 大数据云计算技术 1)大数据云计算平台技术2)商业智能云平台技术 1)云BI技术及大数据平台的核心技术研究2)大数据云BI在国内应用是未来趋势,有望建成国内第一家云BI平台开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究,在国内外杂志、会议发表了多篇高水平论文。获得视频识别,知识学习与推理相关发明专利2项,申请发明专利7项。大数据环境下的无重叠视域跟踪大数据技术,解决视频领域的知识识别,知识发现,知识集成与跟踪,推理等关键技术问题。多项国家自然科学基金大数据技术来实现国家经济免疫系统审计跨12个行业,跨地区数据源审计行业大数据知识推理系统 传统审计 大数据审计 无法跨地区、跨行业审计 跨行业、跨区域审计 事后审计、周期性审计 连续审计 复杂性隐蔽问题难以发现 智能化,具有预测功能 依据小样本经验地毯式排查 大数据分析,建立抵御和预防手段 (二)、审计“免疫系统”的作用和方式  审计作为经济社会运行的一个免疫系统,能够最早地感受到病害侵蚀的风险,更早地揭示病害侵蚀带来的危害,更快地运用法定职能去抵御、查处这些病害,及时建议政府或相应的权力机关运用各种资源去消灭病害,从而健全制度,保护国家安全。  在经济运行中选择带有普遍性、苗头性的现象进行重点审计,发挥审计在财经领域的监督作用,在经济社会领域的建设性作用,在民生领域的保障作用。不断提高审计质量,从体制、机制和管理上有针对性地提出审计意见和建议,探索建立有效的审计预警和防范机制,为领导作出科学决策提供可靠的依据。  审计机关通过和被审计单位建立联系制度,将审计监督的“关口”前移,利用专业技术优势对被审计单位存在的管理漏洞和潜在的风险主动进行修复和抵御,对可能发生的违规违纪问题早发现、早预防,真正做到“未雨绸缪,防患于未然”。  (三)、发挥审计成果作用是“免疫系统”机制的重要保障  审计项目的实施,可以产生一系列的审计成果,综合利用这些成果,可以综合发挥审计“免疫系统“的抵御、削灭、修复功能。  一是通过审计报告、决定、责令被审计单位整改审计问题,完善内部管理,提高经济效益,发挥审计免疫系统对侵入被审计单位”病毒“的抵御、消灭和制度修复功能,促进微观经济实体健康运行。  二是通过审计专报、移送,将重大违法违规问题及其相关人员,移送司法等职能部门处理,增强对违法犯罪行为的威慑作用,进一步延伸并强化审计免疫系统的消灭病毒的功能,从而推进廉政建设,促进政权的巩固和政府机关的高效廉洁运行。  三是通过审计信息,将涉及宏观经济管理、体制机制、政策措施等问题及时向党委、政府反映,提出审计建议,完善体制、机制存在的缺陷,促进改善宏观调控。*房地产大数据利用大数据建模技术,实现房地产价格指数、房地产评估模型碳交易利用大数据建模技术,建立全省碳排放计量监测体系的数据体系、技术体系、模型体系和评估体系,形成满足碳排放计量关系方程和参数 联合实验室大数据分析平台产品技术架构典型行业应用案例数据挖掘越来越多的应用到了各个领域中,主要包括与客户关系管理相关的模型、与风险控制相关的模型、与生产销售预测相关的模型等数据挖掘应用领域产品名产品ETHINK可视化挖掘概要通过在浏览器内,鼠标拖拽形式实现加载数据、转换、建模、评估、图形以及结果输出特点通过视觉工作方式轻松获得此界面可以保障操作的灵活性在最短的时间内形成最多样的模型大数据挖掘,速度快关系型数据库数据挖掘模型算法库/语义分析Hbase/Hive/Hdfs可视化数据挖掘平台多维自助分析调度管理SQL接口JDBC/ODBC内存计算服务Scala/Java/PythonOLAPServer手机平板电脑批处理实时流处理交互式查询统计分析平台ETHINK产品架构特点一丰富建模特点可拖拽式建模 JDBC WebServices Restfulapi 可扩展性强 自定义模型,扩充组件特点传统的关系型数据(mysql、Oracle等)列式数据库(Hbase)非结构化数据(Hdfs、文件系统)大数据(Hbase、Hive)特点二大数据处理特点开放型平台 BS结构,一站式建模、评估、部署 基于Spark平台 内存计算 运算速度快特点GBPB特点三大数据处理能力特点 基于Spark平台 内存计算执行数据挖掘时,方法论非常重要.因为准确的方法论能够提高作业速度,能系统地减少各种进展状况,所以选择正确的方法论是很重要的.CRISP-DM方法论是全球认可的数据挖掘的执行方法论.场景应用(实验室模拟实验课题) 功能模块 金融电信行业 1.信用卡用户流失预测2.基于客户分群的精准智能营销3.基于公司价值评价的证券策略投资 电力行业 1.电力负荷预测2.自适应防窃漏电实时诊断 互联网行业 1.电子商务网站用户行为分析2.基于用户行为分析的定向广告投放3.企业信息系统用户服务感知评估 制造业行业 1.制造设备生命周祺管理2.制造业投入产出预测 公共服务业 1.空气质量预测2.卷烟消费者购买行为分析3.纳税人偷税漏税评估目录 联合实验室大数据分析平台产品技术架构典型行业应用案例基于spark内存的计算模型,同时支持批处理、交互式处理、流处理。技术架构解决方案-要解决的问题技术架构解决方案-分布式内存计算批处理应用(分钟级别~小时级别)OLTP/在线事务处理应用(毫秒~秒级别)OLAP/在线交互式分析应用(秒级别)实时流处理(持续不断)技术架构解决方案-交互式查询 通常的时间跨度在数十秒到数分钟之间 按数据维度进行统计、聚合 根据历史数据进行拟合和预测 计算数据之间的相关性和模式等 适合提供高速在线分析服 典型应用场景 政府各部门数据 证券交易 银行保险 企业ERP/CRM等 适用于数据量在GB到TB的高速数据分析技术架构解决方案-实时在线处理 通常的时间跨度在数百毫秒到数秒之间 数据来源多、高并发、数据处理量达 分析结果快速响应 典型应用场景 社交网络分析、关联关系分析 用户分类、用户行为预测 高并发查询 按主键毫秒级检索 按多维度秒级检索 按照关键字秒级检索 事件驱动计算模型,系统处于持续不断计算之中,事件响应延迟在毫秒~秒级。 流式计算系统处理应用的处理逻辑是由源源不断的数据流驱动。 典型应用场景 有金融在线欺诈预警 广告CTR 推荐系统技术架构解决方案-实时流处理技术架构解决方案-批处理及离线挖掘 时间跨度在数十分钟到数小时之间。 离线挖掘主要用于,多维统计预测,准实时分析以及对客户进行聚类、分类等数据挖掘应用。 典型应用场景 电子商务推荐引擎 流失客户预测挽留 日志清洗、ETL 用户行为分析目录 联合实验室大数据分析平台产品技术架构典型行业应用案例项目需求将总行下发的数据及核心业务数据,经过数据整理、加载到省级数据中心,并进行各项业务快速应用开发数据源 某省公积金中心,近五年的操作、交易记录,共10亿条左右。系统环境 4台X86架构的PC服务器,共128G内存 单台服务器,8核CPU,32G内存解决方案 Hbase导入海量数据,并支撑大数据查询 可视化设计、可视化报表实现了数据的实时分析行业应用案例-金融行业应用案例-金融系统由对公客户综合积分子系统、展业通客户综合收益分析子系统、授信客户资金结算子系统、对公柜面交易流水分析子系统等组成行业应用案例-金融 项目需求整合第三方支付数据资源,分析挖掘客户交易、反馈信息、交易行等数据,实现精准营销,最大限度地提升产品价值 数据源 某第三方支付平台交易、反馈数据,月交易记录量1亿条。 系统环境 6台X86架构的PC服务器,共96G内存 单台服务器,8核CPU,16G内存 解决方案 Hbase导入海量数据,并支撑大数据查询 Hive对历史交易数据进行分析 可视化设计、可视化报表实现数据的实时分析 基于ETHINK可视化挖掘平台,完成精准营销建模持卡客户多维分析: 持卡客户人口统计特征分析 持卡客户交易行为模式分析 持卡客户应用场景分析特约商户多维分析: 商户基本信息分析/商户业务收益分析 商户价值贡献度评估/商户收单风险分析持卡客户和特约商户双向分析 特定特征客户特定时间消费商户分布分析 特定时间在特定商户消费的客户特征分析行业应用案例-金融 项目需求烟草工业企业目前积累了大量的数据信息,管理方式由粗放式管理转为精细化管理,产生了利用大数据技术收集、管理和展示分析结构化和非结构化的数据和信息的诉求,于是如何利用这些数据创造更大的价值、为领导决策和企业精益管理提供有力支撑成为重要的课题。 数据存储 近1年数据,每秒钟10000个数据采集点 系统环境 硬件环境:数据库服务器1台+4台分布式pcserver 单台4核,16G内存 解决方案 流处理模块处理设备实时数据流 事件预警开发平台,实现问题预警 基于ETHINK数据挖掘建模分析平台,实现疑点挖掘建模 可视化报表设计,完成大数据精益管理行业应用案例-烟草设备健康指数模型:利用数据聚类分析、特征分析、变化和偏差分析等数据挖掘方法分析工厂生产、质量、设备健康状况,实现指标关联分析及问题挖掘目的。行业应用案例-烟草完毕感谢聆听** (二)、审计“免疫系统”的作用和方式  审计作为经济社会运行的一个免疫系统,能够最早地感受到病害侵蚀的风险,更早地揭示病害侵蚀带来的危害,更快地运用法定职能去抵御、查处这些病害,及时建议政府或相应的权力机关运用各种资源去消灭病害,从而健全制度,保护国家安全。  在经济运行中选择带有普遍性、苗头性的现象进行重点审计,发挥审计在财经领域的监督作用,在经济社会领域的建设性作用,在民生领域的保障作用。不断提高审计质量,从体制、机制和管理上有针对性地提出审计意见和建议,探索建立有效的审计预警和防范机制,为领导作出科学决策提供可靠的依据。  审计机关通过和被审计单位建立联系制度,将审计监督的“关口”前移,利用专业技术优势对被审计单位存在的管理漏洞和潜在的风险主动进行修复和抵御,对可能发生的违规违纪问题早发现、早预防,真正做到“未雨绸缪,防患于未然”。  (三)、发挥审计成果作用是“免疫系统”机制的重要保障  审计项目的实施,可以产生一系列的审计成果,综合利用这些成果,可以综合发挥审计“免疫系统“的抵御、削灭、修复功能。  一是通过审计报告、决定、责令被审计单位整改审计问题,完善内部管理,提高经济效益,发挥审计免疫系统对侵入被审计单位”病毒“的抵御、消灭和制度修复功能,促进微观经济实体健康运行。  二是通过审计专报、移送,将重大违法违规问题及其相关人员,移送司法等职能部门处理,增强对违法犯罪行为的威慑作用,进一步延伸并强化审计免疫系统的消灭病毒的功能,从而推进廉政建设,促进政权的巩固和政府机关的高效廉洁运行。  三是通过审计信息,将涉及宏观经济管理、体制机制、政策措施等问题及时向党委、政府反映,提出审计建议,完善体制、机制存在的缺陷,促进改善宏观调控。**
/
本文档为【大数据分析技术架构解决方案】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。 本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。 网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。

历史搜索

    清空历史搜索