归纳大数据与安全生产综述.pptVIP

（四）安全生产大数据的思考 算法 演示课件 （四）安全生产大数据的思考 传统数据分析与应用 大数据分析与应用 大数据分析模型 传统分析是对有限的样本数据进行分析，大多数据仓库都有一个精致的提取、转换和加载（ETL）的流程和数据库限制，这意味着加载进数据仓库的数据是容易理解、清洗，并符合业务的元数据 大数据分析是对总体数据，尤其是针对传统手段捕捉到的数据之外的非结构化数据进行分析，这意味着数据的理解、清洗等加工过程是复杂多变的，这使它更具有挑战性，但同时它提供了在数据中获得更多洞察力的可能。 大数据中结构性数据主要是时间序列数据，非结构性数据主要是文件数据，因此，需精通的模型覆盖范围比传统数据分析要广泛。 计量经济学：时间序列模型，路径分析模型、贝叶斯模型等 统计学：相关性分析，线性回归模型、矩阵等 计算机科学：神经网络、文本分析与挖掘、关联规则分析等 传统分析是建立在关系数据模型之上的，主题之间的关系在系统内就被创立，分析在此基础上进行。 在真实的世界里，很难在所有的信息间以一种正式的方式建立关系，因此以图片、视频、移动互联网、无线射频识别（RFID）等产生的非结构化数据广泛存在。绝大多数的大数据分析是基于非结构化数据。 传统分析是定向定时的批处理，而且我们在获得所需的洞察力之前需要每晚等待提取、转换和加载（ETL）以及转换工作的完成 大数据分析更多是针对数据的实时性分析。 在一个传统的分析系统中，并行是通过昂贵的硬件，如大规模并行处理（MPP）或对称多处理(SMP)系统来实现。 当前的数据分析平台是主要基于相对便宜的X86小型服务器集群，实现动态增减服务器容量与计算量。大多数据分析软件主流是基于开源的Hadoop系统产生。 传统数据 分析与应用 大数据 分析与应用 = ? 演示课件 案例2：全国公安系统大数据应用-网上抓逃犯 2014年起，全国公安系统利用基于大数据、云计算技术研发的多点碰撞应用系统助力民警办案。应用系统通过3至10秒的大数据碰撞，即可迅速从2.8亿条旅馆和21亿条网吧数据中，提取出600万住宿人员和2500万网吧上网人员，进行交叉碰撞计算，获得53个候选名单，缩小了排查范围，最后交给办案单位进一步筛选，提高了破案效率。 演示课件 案例3：淘宝网大数据应用 淘宝上的买家在购买商品前，会比较多家供应商的产品，进而反映到淘宝网站统计数据中，通过用户比选、购买行为进行贸易分析预测。2008年初，淘宝上买家询盘数急剧下滑，淘宝网预测到欧美对中国的采购在下滑，最后推断出世界贸易即将发生变化。 演示课件 案例4：360反欺诈应用 360互联网安全中心通过1亿设备，6.49亿网名，累计监测到网民个人信息多大11.2亿条，内容包括姓名、电话、上网账户、银行卡密、身份证号码等多种用户隐身信息，在GIS地图上生产了中国网络骗子地图。 360通过手机卫士为用户提供骚扰电话拦截服务，识别出骚扰电话中“响一声”最多，占到了总量一半，每天上午10点骚扰电话最猖獗，周一是骚扰电话也要“休息”，统计出骚扰电话分布图。 中国网络骗子地图 2014年骚扰电话分布 演示课件 2012年3月通过“大数据研究与发展倡议”，率先将大数据上升为国家战略，大力提升美国从海量复杂的数据集合中获取知识和洞见的能力。 　　第一波投资两亿多美元，通过公布重要部门的大数据项目规划，扶持重要领域的大数据技术研发，带动其他部门和社会各界对大数据技术的研发投入和推广应用。 　　具体实现三个目标： (1)开发能对大量数据进行收集、存储、维护、管理、分析和共享的最先进的核心技术; (2)利用这些技术加快科学和工程学领域探索发现的步伐，加强国家安全，转变现有的教学方式; (3)扩大从事大数据技术开发和应用的人员数量。 （四）大数据战略——美国 演示课件 　　2013年10月31日，英国发布《把握数据带来的机遇：英国数据能力战略》。该战略由英国商业、创新与技术部牵头编制。 　　战略旨在促进英国在数据挖掘和价值萃取中的世界领先地位，为英国公民、企业、学术机构和公共部门在信息经济条件下创造更多收益。为实现上述目标，该战略从提升数据分析技术、加强国家基础设施建设、推动研究与产业合作、确保数据被安全存取和共享等几个方面做出了部署，并作出11项行动承诺，确保战略目标得以落地，投资金额达1.89亿英镑。 （四）大数据战略——英国 演示课件 　　2013年10月，澳大利亚政府发布又信息管理办公室成立的“大数据工作组”制定的公共服务大数据战略。 　　该战略旨在推动公共部门利用大数据分析进行服务改革，制定更好的公共政策，保护公民隐私。战略还决定成立数据分析卓越中心(DACOE)，通过构建一个通用的能力框架帮助政府部门获得数据分析能力，并