大数据技术社区教育平台建设探析.docxVIP

　　社区教育平台建设是社区教育的主要手段，随着不断发展，系统建设中隐含的问题逐渐显现。 　　大数据平台是通过分布式文件系统、管理系统以及分布式数据库系统等一系列关键技术建设的网络平台，大数据技术所具备的超强的数据收集、存储、分析能力能为社区教育平台的建设提供新的思路，能为社区教育的发展提供先进的技术支持。 　　社区教育；大数据；分布式数据库1引言社区教育数字化平台是社区教育的主要手段，它满足了社区居民大部分的教育诉求。 　　随着社区教育平台的发展和用户的激增，各种应用数据无所不在，与用户学习行为相关的数据量急速增长，社区教育平台进入了大数据时代。 　　然而，由于诸多因素造成了这些数据没有得到充分的重视和运用，丧失了对学习者的深度了解，摒弃了平台自身发展的优势，社区教育平台的发展正面临着大数据的挑战。 　　2社区教育平台建设现状以河北省为例，社区教育平台建设至今已五年之久，发展迅速、运行效果良好、硬件基础比较完善、管理模式具体、推广颇具深度；目前十一家地市的社区教育平台半数以上具备了版和移动版同时运维的能力，丰富的学习资源覆盖范围广阔、知识结构权威、学习方式快捷，为广大学习者提供了一个良好的学习和交流的平台，得到了多方用户的称赞。 　　但是，随着时间的推移，各平台出现了诸多类似的问题，比如用户上网行为不能及时管理，教学资源推送不能满足用户需求，大都与庞大的数据记录有关，这些问题是平台进一步发展的瓶颈，是不得不解决的首要问题。 　　21平台缺少信息收集和分析处理功能。 　　社区教育的主要特征是教育对象具有广泛性，不同的受众群体具有不同的教育诉求，这就需要社区教育平台提供不同的教育方式和内容，以满足广泛的兴趣需求和学习特点；目前平台对每名用户的学习行为和受教数据都没有综合收集和储存，无法通过这些具有个性化的日志资料分析学习倾向和需求，平台建设大多主观提供课程资源，甚至造成供需脱节，达不到平台建设的预期目标。 　　22平台缺乏统一规划，信息存储不规范。 　　目前，各平台都是独立运行，使得海量信息离散分布，并且信息的存储互不兼容，大量三分屏、单视频、等资源闲置，几乎没有一个可执行的资源标准，无法形成聚合数据库。 　　离散信息一方面造成重复的资源建设和信息冗余，另一方面限制了共享，不利于资源传播。 　　23对于平台使用的关键技术，绝大多数沿用传统。 　　管理系统的结构，没有任何一个系统能够对平台运行过程中的数据全面存储、自动分析以为管理者提供决策和建设的依据，而作为社区教育平台运行过程中产生的大数据恰恰是平台运行的宝贵资源，对于受众对象和管理者都是不可忽视的。 　　大量资源无人问津，系统点击深度低、缺乏粘合度，闭门造车开发出来的系统完全成了开发者自娱自乐的工具，学习者的真实需求不能满足，甚至有系统还在沾沾自喜于网站的点击率，殊不知这样的数据没有任何意义；从角度看，各系统甚至没有个基本的分析系统，尽管系统满足了上千人同时在线，却对这些在线行为不能做出基础的收集、整理和分析。 　　出现供需严重脱节现象的主要原因一是开发者没有做细致的需求分析，二是平台架构存在严重缺陷，而解决这些问题的重要手段就是在系统开发上充分利用大数据技术。 　　3基于大数据技术的平台架构和关键技术大数据技术，就是从多种类型的数据中，快速获取有价值信息的能力，它是数据分析的前沿技术。 　　与传统数据相比，大数据有几个特点第一，数据体量巨大，为进一步的分析提供了充分的数据资料；第二，数据类型繁多，包含文字、图片、音频、视频、地理位置信息等；第三，处理速度快，可从海量数据中极速获取高价值信息，这也和传统的数据挖掘技术有着本质的不同；第四，数据可实现再利用和重复利用，以低成本或零成本对研究对象进行纵向历史比对和横向现实比对；第五，只要合理利用数据并对其进行正确的分析，将会带来意想不到的高价值回报。 　　31大数据系统的架构。 　　一个常规的大数据分析平台，必须能够做到可持续、可迭代开发的功能，可存储所有种类的数据，可进行各种需求分析，可实现大众化使用；同时，一个大数据分析平台还应该可以接入不同的开发工具，并且实现数据分析的图形化，可以在不同时间、空间等维度进行查询。 　　大数据处理系统不管结构如何复杂，采用的技术千差万别，但是总体上可以分为几个重要逻辑部分，它们分别是管理子系统、数据加载系统、计算子系统、二次开发界面、直观的图形、报表和自定义分析工具、提供多种服务的对外接口。 　　大数据系统涉及到的人工协议和交互中，大致分为系统协调者、系统提供者、大数据应用提供者、大数据框架提供者、数据消费者，这五个角色的活动都要受到安全和隐私角色的影响，通过不同的技术手段和安全措施，构筑大数据系统全方位、立体的安全防护体系。 　　32大数据系统关键技