旅游大数据集成平台-建设方案.docx

旅游大数据集成平台建设方案目录第1章国家旅游大数据集成平台11.1国家旅游大数据集成平台概述11.1.1建设背景11.1.2大数据云平台现状11.2平台指导思想21.2.1平台设计的指导思想21.2.2平台选择的指导思想31.2.3平台应用的指导思想31.3总体解决方案41.3.1总平台旅游大数据的存储解决方案61.3.2总平台旅游大数据的计算解决方案81.3.3总平台旅游大数据的文件传输解决方案91.4平台总体设计121.4.1Hadoop云平台的总设计原则121.4.2Hadoop云平台架构131.4.3平台的基础架构设计141.4.4高用性设计221.4.5业务分析平台231.4.6数据管理平台251.4.7数据访问平台341.4.8数据管制和集成平台401.4.9运营平台421.5平台功能441.5.1总体要求441.5.2平台业务功能441.5.3平台技术功能51国家旅游大数据集成平台国家旅游大数据集成平台概述建设背景旅游大数据的产生：众所周知，随着信息社会的快速发展，信息量以爆发式的速度增长。这些数据的特征表现为数据量大，一般为TB级或PB级甚至更大。数据类型多，可以是结构化的表单、半结构化的文本、视频、图像、语音、及非结构话的文件。而全国旅游数据也是异常巨大，形成了旅游大数据，而面对庞大而复杂的信息体系，我们把整个大数据分成了两个层次，第一个层次是基础数据，包括所有的景区信息、地图、POI、景区周边环境信息等等。第二个层次就是应用和交易数据，以游客所产生的数据为主。目前的大数据应用主要是从第二个层次做延伸，也仅仅体现在在线旅游中，包括做得比较好的百度的旅游数据预测系统与蚂蜂窝游客点评数据等等，它们大都从监管和营销的角度出发。但是我认为目前市场上没有一种产品能真正满足游客的游中体验，而其实游客才是真正实现智慧旅游的核心价值。而且从游客体验的吃、住、行、游、购、娱六大要素来看，中国人的旅游方式是以景区为原点延伸的，景区基础数据的应用应该是游客体验中最重要的一环，但是目前所有的导航服务系统都是针对陆路交通的，景区内基础信息是一个盲点，更谈不上基于此基础数据的景区内导航、语音播报、LBS定点等产品的研发了。旅游大数据的挑战：如何对这些数据进行高效存储，如何对这些数据进行分析和处理，以获取更多有价值的信息。旅游大数据集成平台应运而生。因此，通过整合国家智慧旅游公共服务平台、交通、气象、酒店、餐饮、旅行社等相关数据，并结合旅游管理和目的地促销活动中产生的所有数据形成国家旅游大数据集成平台。通过对数据筛选、分析，提供如旅游行业发展动态、服务模式、旅游者偏好等的数据分析报告，为国家旅游决策提供数据支撑。 大数据云平台现状目前，随着云计算的高速发展，Hadoop及Hadoop的生态圈逐渐壮大，但真正商用且成熟的Hadoop云平台架构却非常少。本方案结合国内的大数据应用巨头百度、阿里巴巴、腾讯，即“BAT”的Hadoop云平台同时，也结合并学习国外的大数据巨头Hadoop应用发布商Cloudera，Hortonworks，MapR,即“CHM”的Hadoop商用云平台，利用Apache Hadoop开源的力量，推出一套稳定、商用、高效、成熟、开源、易开发，易扩展的大规模hadoop云平台——HDP（Hadoop Data Platform），以满足全国的旅游数据的采集、存储、分析和发掘和应用。平台指导思想建设稳定、商用、成熟、高效、节能统一的大数据Hadoop云平台。不仅满足大数据的大规模的采集、存储、分析计算和应用，也为其它平台和系统提供性能需求、系统稳定性、服务满意率高技术支撑和大数据支撑。性能需求指网站性能需求，主要指作业响应时间方面的要求，作业响应时间指完成目标系统中的交互或批量处理所需的响应时间。网站响应时间较短，具有良好的用户体验。这对大数据的实时性、准确性和有用性提出很高的要求，这需要我们设计并使用Hadoop的大数据实时处理的系统架构，充分利用storm、spark等技术。系统稳定性主要包括系统运营完好、系统故障处理及时率两个指标。系统运营完好，有优异的灾备机制，具有保障系统运营的优异管理机制。系统故障处理及时率是系统发生故障时处理的效率。具有良好的系统故障应急机制，能够快速及时的处理系统故障。这对Hadoop平台的高可靠性提出高的要求，这需要设计Hadoop云架构时，考虑HA的优化和设计。 服务满意率主要考核供应商在服务期限内服务内外部客户的满意度。包括投诉接通率、报告及时性两个方面。投诉接通率是公共服务可信的重要保障。投诉接通率是投诉接通次数（包括电话、网站响应）/投诉总次数。报告及时性是对国家旅游局要求的相关服务的响应时间，计算方法为报告按时提交次数/报告总次数。 这需要投诉方面的大数据有快速的分析和处理，需要