互联网及大数据应用.pptVIP

分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等 一些相关技术 存储 结构化数据： 海量数据的查询、统计、更新等操作效率低 非结构化数据 图片、视频、word、pdf、ppt等文件存储 不利于检索、查询和存储 半结构化数据 转换为结构化存储 按照非结构化存储 解决方案： Hadoop（MapReduce技术） 流计算（twitter的storm和yahoo！的S4） 数据采集 数据储存与管理 数据分析与挖掘 计算结果展示 大数据的相关技术 ETL 数据众包 （CrowdSouring） 数据众包 数据众包是一种新的数据采集方式，由企业方通过平台把数据采集任务外包给非特定的大众网络。 数据采集 数据储存与管理 数据分析与挖掘 计算结果展示 大数据的相关技术 ETL 数据众包 （CrowdSouring） 结构化、非结构化和半结构化数据 分布式文件系统 关系数据库 非关系数据库 （NoSQL） 数据仓库 云计算和云存储 实时流处理 分布式文件系统 分布式文件系统（Distrib