大数据入门四个必备常识.pdfVIP

大数据入门的四个必备常识 　　一、大数据分析的五个基本方面 　　1，可视化分析 　　大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据 分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够 非常容易被读者所接受，就如同看图说话一样简单明了。 1 　　2，数据挖掘算法 　　大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和 格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认 的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面 也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能 得出结论，那大数据的价值也就无从说起了。 　　3，预测性分析能力 　　大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学 的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。 　　4，语义引擎 　　大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输 入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。 　　5，数据质量和数据管理 　　大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学 术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就 是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、 更加专业的大数据分析方法。 　　二、如何选择适合的数据分析工具 　　要明白分析什么数据，大数据要分析的数据类型主要有四大类： 交易数据（TRANSACTION DATA） 　　大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的 2 交易数据类型进行分析，不仅仅包括 POS 或电子商务购物数据，还包括行为交易数据，例如 Web 服务器记录的互联网点击流数据日志。 人为数据（HUMAN-GENERATED DATA） 　　非结构数据广泛存在于电子邮件、文档、图片、音频、视频，以及通过博客、维基，尤 其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。 移动数据（MOBILE DATA） 　　能够上网的智能手机和平板越来越普遍。这些移动设备上的 App 都能够追踪和沟通无数 事件，从 App 内的交易数据（如搜索产品的记录事件）到个人信息资料或状态报告事件（如 地点变更即报告一个新的地理编码）。 机器和传感器数据（MACHINE AND SENSOR DATA） 　　这包括功能设备创建或生成的数据，例如智能电表、智能温度控制器、工厂机器和连接 互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信，还可以自动向中央 服务器传输数据，这样就可以对数据进行分析。机器和传感器数据是来自新兴的物联网 3 （IoT）所产生的主要例子。来自物联网的数据可以用于构建分析模型，连续监测预测性行 为（如当传感器值表示有问题时进行识别），提供规定的指令（如警示技术人员在真正出问 题之前检查设备）。 　　数据分析工具达到哪些要求和目的？ 能应用高级的分析算法和模型提供分析 以大数据平台为引擎，比如Hadoop 或其他高性能分析系统 能够适用于多种数据源的结构化和非结构化数据 随着用于分析模型的数据的增加，能够实现扩展 分析模型可以，或者已经集成到数据可视化工具 能够和其他技术集成 　　另外，工具必须包含必备的一些功能，包括集成算法和支持数据挖掘技术，包括（但不 限于）： 集群和细分：把一个大的实体分割拥有共同特征的小团体。比如分析收集来的客户，确定更 细分的目标市场。 分类：把数据组织进预定类别。比如根据细分模型决定客户改如何进行分类。 恢复：用于恢复从属变量和一个及一个以上独立变量之间的关系，帮助决定从属变量如何根 据独立变量的变化而变化。比如使用地理数据、净收入、夏日平均温度和占地面积预测财产 的未来走向。 联合和项目集挖掘：在大数据集中寻找变量之间的相关关系。比如它可以帮助呼叫中心代表 提供基于呼叫者客户细分、关系和投诉类型的更精准的信息。 相似性和联系：用于非直接的集群算法。相似性积分算法可用于决定备用集群中实体的