- 1、本文档共11页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
车联网大数据项目解决
方案说明书
XX科技股份有限公司编制
目录
TOC\o1-3\h\z\u一、项目存在问题及需解决问题 3
1. 存在问题 3
2. 需解决问题 3
二、解决方案 5
1.解决方案架构 5
2.关键技术 6
(1)Hadoop 6
(2)SpringMVC 6
(3)MyBatis 6
(4)Echarts 7
(5)MySQL 7
(6)Hive 7
(7)HBASE 8
(8)Zookeeper 8
(9)Flume 8
三、开发范围 9
1. 数据生产 9
2. 数据采集/消费 9
3. 数据分析 10
4. 数据展示 11
项目存在问题及需解决问题
存在问题
Hbase多实例
安全模式重启认证
API接口
数据服务能力
多组件开发
需解决问题
Hbase多实例
为Hbase多实例的管理存在难点。通过配置不同的hbase客户端的配置文件,调度代码从相应位置获取并加载配置文件,从而解决多实例管理问题。
安全模式重启认证
客户端在安全模式下,需要24小时后定时重启一次客户端。采用crontab自动执行定时shell脚本的方式去定时重启jar包,解决了定时重启的问题,保证项目能自动化部署并实现高可用。
API接口
数据服务平台DASP与该大数据平台各组件API对接困难。该大数据平台目前提供API对接方式,但是缺乏对接经验,官方文档不足,调试接口不稳定。目前,DASP应用服务平台系统暴露RESTFUL接口,解决跨平台使用,实现了项目解耦、扩展性、易用性、安全等问题。
多组件开发
大数据平台组件较多,包括Loader,Hdfs,Hive,Hbase,Kylin,Es,Redis等,各组件的安全认证、数据传输和联通测试流程的稳定性与安全性需要反复验证。
数据服务能力
以往,数据服务是通过定义数据服务接口的方式加以实现。随着数据应用服务需求的不断增加,数据接口难管理问题日益凸显。本次数据应用服务平台,主要通过定义DSL,对不同技术语言进行SQL的转化,从而真正实现SQLonHadoop的数据服务能力,提高平台适用性。
解决方案
解决方案架构
系统开发平台使用Hadoop大数据开发平台。Hadoop是一个高度可扩展的存储平台,可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。能扩展到处理大量的数据,能提供成百上千TB的数据节点上运行的应用程序。Hadoop能够有效的在几分钟内处理TB级的数据。相比关系型数据库管理系统更具有优势。它适用于任何规模的非结构化数据持续增长的企业,将帮助用户持续提高用户体验。
系统采用面向对象的软件设计方法,把整个系统看作是多个离散对象的组合。系统设计时,首先把业务流程分解成功能模块及其业务实体对象,然后根据业务流程分析对于这些业务实体对象的操作方法,形成业务处理对象,最后把各个功能模块关联起来,形成系统。软件设计是一个将需求转变为软件的过程,系统通过逐步求精使得设计陈述逐渐接近于源代码。
系统程序采用MVC的设计思想,将展现逻辑、控制逻辑、业务处理逻辑分离。
系统采用参数化的设计思想,定义和管理系统的实体及配置,调整实体以适应外部变化。
系统采用J2EE技术保证程序逻辑实现的平台无关性,并便于安装部署。
系统采用AJAX技术,提高客户操作的交互性,保证实际使用的易用性。
系统采用echarts可视化框架实现数据展示。
关键技术
Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
SpringMVC
SpringMVC:属于SpringFrameWork的后续产品,已经融合在SpringWebFlow里面。Spring框架提供了构建Web应用程序的全功能MVC模块。
MyBatis
MYBatis:是支持普通SQL查询,存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射,将接口和Java的POJOs(PlainOldJavaObjects,普通的Java对象)映射成数据库中的记录。
Echarts
ECharts是一款基于Javascript的数据可视化图表库,提供直观,生动,可交互,可个性化定制的数据可视化图表。
MySQL
MySQL是一个关系型数据库管理系统,由瑞典MySQLAB公司开发,属于Oracle旗下产品。MySQL是最流行
文档评论(0)