大数据类别标注与共享平台设计与实现.docVIP

大数据类别标注与共享平台设计与实现 　　摘要：该文针对目前资源共享平?_的现实需要，对大数据类别标注与共享应用进行需求分析，提出了大数据类别标注与共享平台的功能和技术架构，讨论了平台实现涉及的关键技术。利用Java、JavaScript等语言以及大数据存储等技术，研发了共享平台系统。该平台方便人们查阅和共享资源，把分散的资源形成整体优势，互惠互利，共同发展。 　　关键词：共享平台；类别标注；大数据存储；集成评价 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）35-0005-02 　　1 背景 　　在当前互联网背景下，随着信息技术与网络技术的快速发展，很多的信息资源都可以在网络上进行统一管理，为了能够对这些资源更高效的存取与管理，数据堂、百度文库等一些资源共享平台应运而生。而人们的学习模式也有从传统学习向网络学习转变的趋势，资源共享平台的出现，加速了这种模式的转变。相较于上述传统的资源共享平台而言，大数据类别标注与共享平台的特色在于能够基于网络实现海量数据的上传与共享，以及对数据进行人工与自动化标注，加快资源的检索速度以及提高检索资源的相关性。同时系统能根据广大用户的集成评价判断数据资源的重要性和好坏性并做自动化处理，提高平台资源的质量。 　　2 系统功能需求 　　2.1 大数据类别标注与共享平台需求分析 　　系统主要实现平台海量数据的上传与共享以及对数据进行自动化检阅并标记。实时监控平台数据，对于具有负面影响力的数据进行自动化处理。通过标签化数据，对数据进行分类。实现用金币购买数据以及评价平台数据的功能。主要功能如下： 　　用户登录注册：用户需要注册账号登录后才能进入本平台，也可以通过第三方平台账号绑定登入本平台。 　　资源上传与类别标注：平台资源由用户上传共享，上传成功的资源需要自动标注类别以方便资源管理。 　　资源快速搜索：用户想在海量的数据中找到自己想要的资源的难度是很大的，因此用户可以通过输入关键词进行查询，系统会将查询结果反馈给用户。 　　资源下载与评价：用户需要在登录状态下支付金币购买所需资源的下载权限，购买成功的用户可将资源下载到本地。成功下载某资源后，才可对该资源进行评价。系统会根据平台用户的集成评价，对于具有负面影响的资源进行自动处理。 　　管理个人资源：用户在登录后可以浏览自己上传的资源，同时也可以对自己上传的资源进行删除操作。 　　2.2 大数据类别标注与共享后台管理需求分析 　　系统后台管理主要是系统管理员对用户、资源、评价以及类别等信息进行管理操作，包括删除、添加。管理员能够对所有用户上传的资源进行删除管理，对资源评价进行删除管理以及对类别进行添加、修改管理等。 　　3 系统框架设计 　　本系统采用了J2EE分层架构（表现层、业务逻辑层、和数据访问层）。MVC三层体系将业务规则、数据访问等操作放置在中间层处理，客户端不直接与数据库交互，而是通过控制器与中间层建立连接，再由中间层与数据库交互。 为提高应用程序的开发效率，减少系统的复杂度，系统采用了SSM框架（Spring MVC，Spring和MyBatis），SSM框架的运用使得系统耦合度更低，更轻量级，效率更高。数据库采用MS SQL数据库存放数据，具体的总体架构如图1所示： 　　4 系统功能设计 　　4.1 功能1―第三方账号登录 　　该功能通过使用OAuth2.0协议来实现，OAuth是一个关于授权开放的网络标准，它允许用户授权第三方移动应用访问他们存储在其他服务器上的信息，而不需要将用户名和密码提供给第三方移动应用或分享数据的所有内容。具体功能见图2。 　　流程图说明： 　　1） 用户选择第三方平台账号登录（QQ微信账号）。 　　2） 系统验证并获得UID等信息，通过UID查询本地账号绑定信息。 　　3） 系统判断如果用户之前有过绑定则可以直接使用第三方账号实现登录本平台。 　　4） 系统判断如果用户没有绑定过则继续判断用户是否有本地账号。 　　5） 如果用户有本地账号则直接登录，否则需要经过注册才能登录。登录的过程中系统会将UID与当前账号绑定。 　　4.2 功能2―资源上传，自动标注 　　资源上传使用jQuery File Upload插件来实现。jQuery File Upload是功能强大的jQuery文件上传插件，它使用XHR作为上传方式，可以实现批量上传、超大文件上传、图片预览、拖拽上传、上传进度显示、跨域上传等功能。 　　自动标注通过语义识别机制实现。数据字典中预先定义了资源类别的名称，用户上传资源时需要填写资源的主题。我们设计了语义识别算法，分别检索数据字典和用户填写的主题并进行比较，若主题中能匹配到数据字典中的类别则将该资源标注