大数据平台基础知识20210120.pptx

;1.大数据基础概念;“大数据”这一概念的形成，有三个标志性的事件：;;;1.大量人群产生的海量数据;啤酒与尿布;大数据各行各业实战;大数据行业应用–社交媒体;大数据行业应用–互联网平台;大数据行业应用–电商平台;;;全国PM2.5监测态势;1.大数据基础概念;国内发展现状;;根据数据显示，现在仅大数据、人工智能、云计算这些学科为代表的新一代信息技术产业，人才缺口就有150万。到2050年，人才缺口会达到950万人。

大数据的发展也催生出一些新职业如大数据分析师、首席数据官等。;数联寻英发布首份《大数据人才报告》：

报告显示，在未来5-10年，我国大数据市场规模年均增速将超过30%。未来5年，国内大数据人才缺口将突破150万。在BAT发布的招聘职位中，目前大数据岗位占比已经超过60%。

现业界有一种观点：即使把全国所有计算机专业都做成大数据专业，仍然无法满足国内对大数据人才的需求。所以人才供给的缺乏正是大数据发展面临的一个瓶颈。;薪资待遇;;市场调研方向;1.大数据基础概念;提供从数据分析、挖掘到数据可视化展示的全套解决方案，推动客户实现数据价值到商业价值的完美蜕变。;智速云大数据分析平台是最新一代的大数据分析软件，能够对多种数据进行快速分析和处理，可以满足不同性质的管理和研发流程中对大量数据的分析和决策要求。其最大的特点是通过多种动态的图形和筛选条件，快速对大量的数据进行分析和处理，能够生成包括柱状图、曲线图、饼图、散点图、组合图、地图、树形图、热图、箱形图、汇总表和交叉表等多种展现形式，且所有的图形都能提供众多的数据分析维度。;;云计算的分布式存储和计算能力提供了技术支撑；而大数据的核心是数据处理，数据挖掘技术成为高效利用数据、发现价值的核心技术.。;弗罗伦斯·南丁格尔（英语：FlorenceNightingale，1820年5月12日－1910年8月13日），英国护士和统计学家，曾往伦敦的医院工作。

她发明出一种色彩缤纷的图表形式，让数据能够更加让人印象深刻。这种图表形式被称作【南丁格尔的玫瑰】，是一种圆形的直方图。

???用这种数据方式表达医院季节性的死亡率，对象是那些不太能理解传统统计报表的公务人员。她的方法打动了当时的高层，包括军方人士和维多利亚女王本人，促进了医师改良的提案。;一个多层级多终端灵活自助式分析平台;;;;统计服务(S+,R语言)

提供先进的统计计算引擎与部署管理器。;智能化的布局;医药行业

--目标与生物标记发现

--先导化合物发现与优化

--临床试验分析

--药物警戒

--销售与市场

金融服务行业

--投资组合管理

--风险分析

--监管达标

能源

--勘探

--业务规划

--油气田开发

--生产

;支持数据仓库，也支持基于列式存储的内存分析技术

既可以使用文件式存储(Hadoop)，又支持数据仓库，满足大数据量客户的需求

数据装载于内存中，实时响应用户的分析需求，计算速度快

系统具备良好的适应性与可扩展性

开放的API接口，方便与外部系统进行快速集成

系统具备跨平台性

服务器可以既可支持windows平台也可支持其他Unix环境

移动智能设备及云端的支持

支持iOS系统及Android系统设备，决策者只要用手指就能做批示和交互

支持分布式内存技术，如Hadoop等，适合云端部署;1.轻松设计不同风格管理驾驶舱

满足任一屏幕的可视化应用;智速云大数据分析平台支持对txt、csv、excel、log、xml、shp（标准的矢量地图）等平面数据文件的加载，也支持通过连接器与SQLserver、Oracle等关系型数据库，MongoDB、Hbase等非关系型数据库、Hadoop、JDBC、ODBC、OLEDB等数据库建立数据连接加载数据。

;列式存储技术，缩算法LZO压缩算法(C语言)和缓存算法（页面置换算法)LRU（Leastrecentlyused，最近最少使用）算法根据数据的历史访问记录来进行淘汰数据，LRU的淘汰规则是基于访问时间，有新的数据进来，之前最先新进的数据将被踢出掉。

在内存模式下，分析平台从数据库、文件或系统读取所有原始数据保存到内存当中。然后它将数据排序为固定的格式，做快速和高效的可视化所需的计算。;数据挖掘(DataMining)是指从大量数据中提取出隐藏于这些数据中的规律，进而通过这些规律来预测未来或是指导人们做出相应的决策。

数据挖掘就是寻找隐藏在数据中的信息过程，如