(1-0)大数据发展现况与未来发展趋势.pdf

大数据发展现况与未来发展趋势 一帆局長的四大問題 •1. What is BIG DATA. •2. Where can we get the BIG DATA. •3. How to deal with the BIG DATA in Government. • C2C B2B B2C O2O - IOT •4. BIG DATA , BIG IMPACT • LAW ? Ethics ? 大数据特征与趋势 经济可负担的处理 能够反应不断且更 整合性收集与分析 大量成长的数据 快速到达的数据 更多元的数据 Volume (大量) Velocity (快速) Variety (种类多) 50x 35 ZB 超过300亿 全球80% 数 RFID 感测装置 据为非结构性 2010 2020 建立大数据来源 不确定与不准确的数据 的可信性 1 in 3 企业领导者不信任他们用来作为 Veracity(真实性) 企业决策的信息真实性 关键– 数据的可信性 数据来源 ：IBM 3 大数据的系统要求 •High performance –高并发读写的需求 高并发、实时动态获取和更新数据 •Huge Storage –海量数据的高效率存储和访问的需求 类似SNS网站，海量用户信息的高效率实时存储和查询 •High Scalability High Availability –高可扩展性和高可用性的需求 需要拥有快速横向扩展能力、提供7*24小时不间断服务 云计算 Data Mining包含六大领域 Machine learning Database systems, Statistical and data Data Warehouses, analysis methods OLAP Data Mining High Visualization performance computing Mathematical programming CRISP-DM六个阶段 Business Data Understanding Understanding