4.2.1大数据处理课件-浙教版高中信息技术必修一.pptxVIP

大数据处理的基本思想与架构

2这些精确的数据是如何统计得到的？2021年微博发布的《微博用户发展报告》显示微博已经有5.3亿活跃用户，包括个人用户、企业用户、组织集体用户等等。而每天发布的内容有短文字长文章、表情、图像、视频等等，除了原创微博，还有转发。假如每条微博包含100个字，那么两个月有多少个字？530000000*100*60=3180000000000这还只能算是其中很小一部分的数据。如果要从这些数据中找出这两个月出现频率最高的100个字，要怎么做？我们还能使用电子表格进行处理么？大数据具有数据量大、数据来源与类型多样、处理速度快、价值密度低等特点规模巨大格式多样

1+2+3+4+5+6+7+8+9+10=？1+102+93+84+75+6111111111155拆分汇总大任务：小任务：分--将问题分解为规模更小的子问题治--将规模更小的子问题逐个击破合--将已解决的子问题合并，最终得出原问题的解分治大数据处理的基本思想

4静态数据：在处理时已收集完成、在计算式不会发生改变的数据流数据：是指不间断地、持续地到达的实时数据，随着时间的流逝，流数据的价值也随之降低，通过实时分析计算可以得到更有价值的分析的结果图数据：以社交网络、道路交通等数据