大数据分析技术之tensorflow应用.docVIP

大数据分析技术之tensorflow应用 　　摘要：随着大数据时代的发展，数据分析成为整个大数据处理流程的核心，就是从大数据中获得各种信息，这就包括了数据可视化分析、数据预测、数据处理、数据存储等。而tensorflow在数据分析方面有一定的便捷性。该文对大数据的特征进行了分析，并由此为基础介绍当前数据分析的一些技术和工具，并介绍tensorflow关于数据处理与数据可视化方面的运用。 　　关键词：大数据；数据分析；tensorflow；可视化 　　中图分类号：TP311 文献标志码：A 文章编号：1009-3044（2018）15-0022-01 　　1大数据的定义与特征 　　自2011年IDC给出大数据定义以来，随着众多专家对大数据的研究与分析，现在较为被人接受的定义如下，大数据是指使用传统和常用的软件技术和工具在一定时间内无法完成获取、管理和处理的数据集；而麦肯锡全球研究所给出的定义是，大数据指的是在大小范围超过常用数据库工具的获取、存储、管理和分析能力的数据集。 　　相较于传统处理的小数据，大数据具有以下“5个V的特点： 　　1）规模大（Volume）：数据容量从20世纪80年代末的GB、TB的级别上升到20世纪90年代的PB、EB级别的数据单位。 　　2）类型多（Variety）：即大数据不仅包括传统的关系型、结构化数据，还包括以网页、视频、音频、文档等形式存在的未加工、半结构化和非结构化的数据。 　　3）时效性（Velocity）：很多大数据需要在一定的时间限度内得到及时处理，满足一定的响应性能要求。 　　4）准确性（Veracity）：大数据中的内容是与真实世界中的发生息息相关的，研究大数据就是从庞大的网络数据中提取出能够解释和预测现实事件的过程，处理的结果要保证一定的准确性。 　　5）价值性（Value）：是通过数据分析后获取得到有价值的数据，并对大数据进行分析挖掘，合理运用数据，以低成本创造高价值。 　　2 大数据分析的技术与工具 　　大数据分析是将数据用于特定的模型中回答特定的问题或发现新的见解，特定的模型是指具有描述性、诊断性、预测性与规定性的模型，通过在某平台上运行算法后发现大数据中潜在价值的过程。 　　大数据分析的第一步是数据的“抽取――转换――加载”，典型的大数据分析方法有以下三种，一是可视化数据分析，二是数据挖掘算法，三是预测性分析。大数据分析时是将数据的不同来源、类型关系的区别、平面数据等文件提取出来，然后通过人工或者机器进行清洁、转换、集成，最后加载到数据仓库或者数据集市中，成为联机分析处理、数据挖掘的基础。由于数据来源不同且格式不匹配，因此，数据清洁变得尤为重要。目前，数据清洁工作基本都是数据工程师通过半自动化的工具进行的人工的简单处理。因为数据源的种类与数量同商业的情报任务时刻紧密关联，从而这就涉及实时数据分析了，而这种数据分析这一般采用“复杂事件处理”方法，是指通过将系统数据分为不同类型的事件，根据事件间的关系建立不同的序列库，利用过滤、关联等技术，最终产生高级事件和商业流程。另一个大数据分析的重要因素是“关键绩效指标”，通过建立关联绩效指标，“成功”的标准成为企业及其各部门制定优先事项标准的界定。大数据分析需要创新，故而需要大量的试验；虽然大数据分析有它独特的优势，但也有很大的局限性，因为只要数据足够大，数据挖掘总能发现一些关系，因此需要很多专家来控制大数据分析的范围，以及分析方向。 　　目前并没有适合所有场所的大数据分析软件和工具。由于大数据分析工具通常非常复杂、程序密集，所以再运用时需要多种技能才能有效应用。而目前的分析工具有：电子表格、在线分析处理、统计或定量算法、规则引擎、数据挖掘工具、文本挖掘工具、模拟工具、遗传算法、信息提取、群智能；但按分析流程划分有：查询和报告软件、联机分析软件、数据挖掘软件、可视化软件等。??前大数据处理确定标准的软件系统有可能是目前比较流行的Hadoop。这些流行的系统一般具备较好特性，如具有磁性、灵活性与深刻性等特点。 　　3 tensorflow的数据处理 　　Tensorflow是一个采用数据流图，用于数值己算的开源软件库。节点（Nodes）表示数学操作，线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。任何研究开发人员都可以在 Apache2.0开源协议下使用tensorflow，而Tensorflow具备以下特征：高度的灵活性，需要将你的计算表示为一个数据流，也可以通过自己书写代码来丰富底层操作；真正可移植性发，tensorflow可以在CPU与GPU上运行，从而可以使你的模型在多个CPU上规模化运算；性能最优化，Tensorflow 给予了线程、队列、异步操作等以最佳的支持，