数据保护课件：大数据应用法律分析.pptx

大数据应用：数据和处理行为分类体系 大数据：典型定义 Gartner：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产（information assets） 大数据集（big datasets）是设备、传感器、互联网交易、电子邮件今天和明天产生的大规模、多样、复杂的、纵向和（或）分布式数据集（datasets）。 大数据一词表示高速产生于多种类型数据源的大规模不同种类的数据。 大数据 大数据：来源于传感器的特定对象的行为数据。 who：人（个人和群体）、物、组织 Time and Place:主体在特定时间、地点 What:行为、过程、事件记录）。 大数据特点 自动生成或系统运行生成 来源渠道多样、表现形式多样 实时产生，可即时处理（但不排除之后批量处理） 数据基本分类：实时数据和非实时数据 定义 特点 实时数据 （Real-time data） 快数据 （Fast data） 时间敏感性数据或数据的价值在于立即应用数据于决策。 即收即处理； real-time database 非实时数据 黑数据 （Dark Data） 即数据的价值在当下还不明确，需要进一步分析处理才能够应用的数据 收集后存储于数据仓库 非结构化、未分类和未开发的数据 黑数据 Gartner “组织在日常商业运营活动中收集、处理和存处的但是一般不会用于其他目的（如分析、商业关系和直接变现）信息资产” 黑数据包括三类： （1）现在还未被收集的数据； （2）已经收集但难以在合适的时间和地点访问的数据； （3）数据已经收集和可访问，但是还未被产品化或未完全应用。 大多数企业或组织存在的数据为黑数据。 黑数据可以见光，具有价值，但能够快速和经济地对它进行分类、结构化和可视化处理 数据处理：一般流程 大数据批处理 实时数据处理 大数据利用的法律思考 数据使用 数据流通 法律 实时数据 收集、处理和使用为一体 市场预测、精准营销、定制 1.系统实时对接匹配，封闭系统 2.界定：ID+时间+类型 合法事实控制力 合同法 反不正当竞争法 隐私风险低（数据可控） 不泄露和不深度识别） 非实时数据 收集和存储与分析使用分离 科学研究、历史研究、原因分析？ 1.可脱离原信息系统流通 2.界定：依需定供（one by one） 赋权问题：原始权利和派生权利 数据资产管理 合同法和财产法 隐私风险高（数据不可控） 去身份和身份标签隔离 大数据分析 其一，数据分析是以实时数据为基础的分析，而不是批量数据为基础； 其二，通过定量分析软件进行分析，如使用人工智能、机器学习、中立网络机器人和算法计算机。 其三，以预测分析为主（predictive insight） 数据：结构化和非结构化 定义 举例 作用 结构化 结构化数据是可以用二维表结构来逻辑表达实现的数据。 ：（1）传感器数据（Sensory Data)；（2）销售点数据（Point-of-Sale Data），如信用卡信息、销售地点、产品信息等；（3）电话细节记录，如时间、呼叫人、接受人信息；（4）网络服务器日志 可标准化、自动处理、可以随意抽取和整合 反映组织基本情况 非结构化 非按照事先确定的模式组织的数据 ：（1）Word文本、PDF文本和其他文本文档（Text Files；（2）音视频文档；（3）演讲稿，投影、PPT；（4）视频：警察出击录像、个人录像、YouTube视频等；（5）图像，照片；（6）消息（Messaging）：即时消息、文本消息。 深度观察和原因分析 半结构化 介于二者之间 HTML文档 结构和非结构数据应用：客户服务数据 结构化数据表现为： （1）客户投诉的数量； （2）客户投诉的类型； （3）投诉处理或解决的速度； （4）客户服务率与消费者反馈。 非结构数据来“补强”，解决以下问题： 第一，问题发生的原因，什么原因的该问题，是技术或财务部门？客户是因为没有有效的指引才陷入困境的？这个问题与特定地区、特定年龄或技术能力的人有何关系？ 第二，更好的客户反馈：不看星级打分，企业反而可以看到为他们为何评价那么好。消费是否因为沟通技巧而差受差评？监督者的干预是否导致更好的体验？销售与客户之间的对话的一般格调是什么？ 第三，问题解决的快速之道：什么样的问题需要特别花时间解决？客户服务代表处理普遍问题的技能是否足够？是否存在让客户找到正当的服务人员的合理通道，以尽快地解决问题。 数据深度分析 2016(3) 2015(3) 2014(5) 2013(3) 2012(6) 2011(4) 2010(5) 2009(6) 2008(3) 2007(17) 2006(5) 2005(3) 2004(3) 2003(3) 2002(8) 2001(19)