车联网大数据项目解决方案说明书.docxVIP

车联网大数据项目解决

方案说明书

XX科技股份有限公司编制

目录

TOC\o1-3\h\z\u一、项目存在问题及需解决问题 3

1. 存在问题 3

2. 需解决问题 3

二、解决方案 5

1.解决方案架构 5

2.关键技术 6

（1）Hadoop 6

（2）SpringMVC 6

（3）MyBatis 6

（4）Echarts 7

（5）MySQL 7

（6）Hive 7

（7）HBASE 8

（8）Zookeeper 8

（9）Flume 8

三、开发范围 9

1. 数据生产 9

2. 数据采集/消费 9

3. 数据分析 10

4. 数据展示 11

项目存在问题及需解决问题

存在问题

Hbase多实例

安全模式重启认证

API接口

数据服务能力

多组件开发

需解决问题

Hbase多实例

为Hbase多实例的管理存在难点。通过配置不同的hbase客户端的配置文件，调度代码从相应位置获取并加载配置文件，从而解决多实例管理问题。

安全模式重启认证

客户端在安全模式下，需要24小时后定时重启一次客户端。采用crontab自动执行定时shell脚本的方式去定时重启jar包，解决了定时重启的问题，保证项目能自动化部署并实现高可用。

API接口

数据服务平台DASP与该大数据平台各组件API对接困难。该大数据平台目前提供API对接方式，但是缺乏对接经验，官方文档不足，调试接口不稳定。目前，DASP应用服务平台系统暴露RESTFUL接口，解决跨平台使用，实现了项目解耦、扩展性、易用性、安全等问题。

多组件开发

大数据平台组件较多，包括Loader，Hdfs，Hive，Hbase，Kylin，Es，Redis等，各组件的安全认证、数据传输和联通测试流程的稳定性与安全性需要反复验证。

数据服务能力

以往，数据服务是通过定义数据服务接口的方式加以实现。随着数据应用服务需求的不断增加，数据接口难管理问题日益凸显。本次数据应用服务平台，主要通过定义DSL，对不同技术语言进行SQL的转化，从而真正实现SQLonHadoop的数据服务能力，提高平台适用性。

解决方案

解决方案架构

系统开发平台使用Hadoop大数据开发平台。Hadoop是一个高度可扩展的存储平台，可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。能扩展到处理大量的数据，能提供成百上千TB的数据节点上运行的应用程序。Hadoop能够有效的在几分钟内处理TB级的数据。相比关系型数据库管理系统更具有优势。它适用于任何规模的非结构化数据持续增长的企业，将帮助用户持续提高用户体验。

系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法，形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。

系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。

系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。

系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。

系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。

系统采用echarts可视化框架实现数据展示。

关键技术

Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

SpringMVC

SpringMVC：属于SpringFrameWork的后续产品，已经融合在SpringWebFlow里面。Spring框架提供了构建Web应用程序的全功能MVC模块。

MyBatis

MYBatis：是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs（PlainOldJavaObjects，普通的Java对象）映射成数据库中的记录。

Echarts

ECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。

MySQL

MySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，属于Oracle旗下产品。MySQL是最流行