基于Hadoop分布式视频加扰系统及其安全策略研究.docVIP

基于Hadoop分布式视频加扰系统及其安全策略研究 　　摘 要：随着高清视频的普及，视频数据量剧增，使用传统的视频加扰方式，处理效率令人难以接受。分布式技术已被用于视频编码[1]和视频加扰[2]。现有的分布式视频加密系统基于被广泛使用的Hadoop，但其因系统设计没有充分利用Hadoop框架的特点，其效率还有很大提升空间；同时，原系统没有考虑过安全性问题，而加密过程中要用到的密钥和密钥的分发无疑对系统设计的安全性方面提出了严苛的要求。本系统利用更合理的视频分割设计和附属的安全系统弥补了这两点不足。 　　关键词：Hadoop；分布式视频；加扰系统；安全；研究 　　中图分类号：TP393.09 　　1 系统介绍 　　本系统在集群中附加了完整的安全系统。假定集群中所有节点机器之间的通信链路是不安全的，可以被窃听的，那么就要求一系列的认证和加密措施以保证视频加密密钥不被窃取。为此本系统提出的密钥管理系统中，集群中master节点已安装所有slave节点的证书，每个slave节点也有一份master节点的证书（由系统管理员手动安装），加密程序运行时节点间通过此证书来确认彼此身份并由master选定一个AES密钥Keya，然后用各个slave的公钥加密后传送给各个slave节点。系统用Keya来加密传输时的视频密钥Keyv。加密后的Keyv附加在分片算法生成的Key-Value对中的Key值里，使其随视频数据分片的分发（此分发仅是数据地址等信息的分发并不是分发视频数据本身，所以仅在节点间传送微量数据）完成密钥的分发，解决了密钥分发的问题。最后，对本密钥管理系统的安全性做出评估。 　　本系统精简了原有系统的构造，摒弃视频上传部分的拆分模块，以直接上传至HDFS文件系统代替之，因为HDFS文件系统对数据本身就是分为块（默认64MB大小的Block）存储的；使用自己的视频分片算法使每个视频文件的Block都被本节点上的Map函数处理，从而避免数据在节点之间的拷贝，达到高效的目的；之后利用Cassandra数据库建立加密后视频数据的索引，方便视频存储和管理。最后对本系统设计从各方面与现有其他系统进行对比评估。本系统的搭建的难点主要在于分布式编程调试比较困难，会遇到各种网络、硬件相关的问题；此外要使分布式系统能运行在最佳状态也必须依实际集群的硬件配置和所运行程序来做各种复杂的参数调试。 　　选择Hadoop基础架构和Cassandra数据库来实现本系统，无疑是非常适合的！首先两者本身都经历了实际商业应用的长时间考验，其可靠性毋庸置疑。其次视频加密本身又是个极易拆分的逻辑过程，非常适合改造成分布式的处理模式。 　　2 系统安全研究 　　视频加密密钥Keyv在被送到加扰模块之前一直是以被AES加密的形式在节点之间传送的，所使用的AES密钥Keya的生成和分发过程如下：集群中某台机器作为密钥生成节点master使用，master上装有其他所有节点的证书，当需要把Keya分发出去时，X使用各自节点的对应公钥加密后发送给对方，接收方节点用自己的公钥解密后便可使用其来解密视频加扰密钥Keyv。 　　密钥生成和分发模块只读取所需批量加密的视频数据的文件名目录，然后该模块会给目录中每个视频文件名生成一个密钥，并把此信息与视频数据的文件名对应起来一并传给视频分片模块，视频分片模块利用这些信息就可以在分片的时候确保同一个视频的不同分片使用的是同一个密钥，不同视频的分片使用的是不同的密钥。密钥信息和文件名对应的信息数据量很少，集群中分发的负荷可以忽略不计。 　　视频分片模块生成的作为Map函数输入的Key-Value对中，Value是该分片的数据本身，Key是文件名、分片编号、该文件加密所用密钥（已被AES加密）的串联字符串。因此Map函数从key就能得到进行后续步骤的所有必要信息。加扰模块根据Key值确定加扰密钥，同时将key值中的文件名和分片编号作为加扰后视频的文件名写入HDFS文件系统。HDFS会自动备份多个加扰后视频数据的拷贝以存放在各个节点确保数据安全。当Map函数中的这些步骤都顺利完成之后，数据库模块会生成一条数据库条目，记录所成功加密的视频的文件名、文件分片编号、所用密钥、文件位置信息等；到此整个流程结束。 　　此外还有一种类似Kerberos的采用对称密钥体系的认证协议。虽然这种认证协议需要可信第三方TTP（Third Trusted Party），但是由于其采用的是对称加密，不用数字证书，减少了证书的维护工作，而且加密速度比非对称加密速度要快。下面描述这种协议，可信第三方用TTP表示，拥有HDFS文件命名空间的节点称为SKG（Scrambling Key Generator），实际执行加扰任务的工作节点表示为WN（Workin