运营商面向大数据应用数据脱敏方法探讨.docVIP

运营商面向大数据应用数据脱敏方法探讨 　　【摘 要】对当前数据脱敏的常用方法及其特点进行了阐释和分析，并结合运营商大数据应用的特点，从技术视角对各类脱敏方法的选择框架给出建议，供同业探讨。 　　【关键词】数据脱敏 大数据 替换 混洗 数值变换 　　doi：10.3969/j.issn.1006-1010.2015.13.003 中图分类号：TP391.1 文献标识码：A 文章编号：1006-1010（2015）13-0017-04 　　引用格式：乔宏明，梁奂. 运营商面向大数据应用的数据脱敏方法探讨[J]. 移动通信， 2015，39（13）： 17-20. 　　1 引言 　　近两年来，国内通信运营商传统业务（特别是语音、短信）发展受互联网/移动互联网冲击的现象日益显现，业务量和业务收入增量的剪刀差越发明显：增长量差值（电信业务总量同比增长-电信业务收入同比增长）从2014年初的8%左右扩大到2015年一季度的近19%[1]，总体上“增量不增收”已经形成“惯性”。随着国家一系列导向性政策的出台（如《国务院办公厅关于加快高速宽带网络建设推进网络提速降费的指导意见》），当前运营商的“‘明星业务’――数据流量――收入预计”在未来1～2年内也将见顶，运营商现有的传统业务将逐步“公益化”。作为企业实体的运营商必须拓展新的业务领域，找到增长点，挖掘手中“大数据”这座金矿，成为三大运营商共同的目标。运营商数据分析应用范围在由“内”（经营分析、网络优化、针对性营销等）向“外”（广告、数据服务）转变，正在探索以“直接收益”为目标的大数据经营。 　　考虑到短期内运营商在新的大数据产业链中并不占据主导地位[2]，广泛的外部合作必不可少。但正是因为运营商所掌握的数据“含金量”过高，其使用也一直受到严格的政策监管：2013年7月19日，工信部下达了《电信和互联网用户个人信息保护规定》文件，明确了个人信息的收集和使用规范以及运营企业的管理责任。同时，当前广大客户对自身隐私的关注也日益增强，一直对运营商使用相关数据保持高度警觉状态，稍有疏忽就会给运营企业造成重大的声誉损失。运营商相关数据对外开放以进入大数据产业面临难以逾越的困难：既要挖掘使用，又要避免隐私风险。两难之间，对相关数据进行“脱敏”或许是一个解决方案。 　　2 常用数据脱敏架构和方法 　　所谓数据脱敏（Data Masking）是对个人身份识别数据（personal identifiable data）、个人敏感数据（personal sensitive data）和商业敏感数据（commercially sensitive data）进行伪装，以便用于生产系统以外的地方[3]。数据脱敏不是新的技术，当前也有很多成熟的商用解决方案可以选择，如Oracle的Data Masking组件[4]、IBM的InfoSphere Optim Data Privacy产品[5]、Informatica的Informatica Data Masking产品[6]等，其中Informatica的产品可以实现对异构数据的脱敏处理。针对特定的生产环境（如异构系统），也可以自己创建脱敏平台或系统进行脱敏处理。脱敏后数据的服务对象，可以是企业内部统计分析、企业生产系统的开放、测试环境，也可以是外部第三方。当然，面向不同的服务对象，针对其服务要求，脱敏的级别和方法也有不同。 　　从架构的角度看，数据脱敏有2种常用架构： 　　（1）动态（On the Fly/Dynamic）数据脱敏架构。指数据脱敏规则应用于在将数据从源数据库（生产库）导出到目标数据库（脱敏后数据库）的过程中进行脱敏处理，或者在生产系统产生实际数据的同时，也同步产生用于其他环境的脱敏数据。这种架构有2个好处：脱敏目标库可以获得实时性很高的数据；在生产系统外不存在非脱敏数据，减少安全风险。这种架构产生的问题是，脱敏处理会对生产系统产生一定的压力；脱敏策略可定制性不强，一旦投入持续生产就不能调整，否则会影响现有业务；脱敏应用会对源数据库到目标数据库链路安全和稳定性有较高要求；该架构一般都要求脱敏工具和生产库管理软件紧密耦合，限制可用工具的选择范围。 　　（2）静态（Static）数据脱敏架构。通过对源数据库的克隆来进行脱敏操作，形成目标数据库。脱敏规则可以在第三方实体上执行，也可以在目标数据库上执行。因为面对的是生产数据的镜像，这种架构可以根据需要调整脱敏规则，灵活性更高；脱敏工具的选择范围也更大；相对动态架构，静态架构对生产系统的压力更小。这种架构的风险是，因为涉及到第三方平台或目标数据库存储源数据，安全风险会增加；此架构获取的脱敏数据实时性相对动态架构偏低。 　　具体的数据脱敏方法，主要有以下6种： 　　（1）替代。指用伪装数