大数据整体解决方案.pptx

;目录;互联网工厂：生产型企业向服务型企业转型 1.售前：精准广告投放、热力图、产品定制 2.售中：生产过程可视化 3.售后：运行数据分析，高效服务;;;;大数据产业链;目录;;大数据建设步骤建议;MPP 分布式数据库;第二阶段：数据整合;第三阶段：数据变现;目录;结构化数据：即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据，特点：结构固定、数据定长.;大数据，4个V;目录;;disks;MPP Cluster大规模并行计算;高可用性SafeGroup;动态扩展能力;目录;;HDFS分布式文件系统;HDFS数据块和副本;批处理Map/Reduce;Hadoop Map/Reduce;内存计算Spark;实时计算Storm;目录;;;列存储区别传统行存数据库，数据在磁盘中按照列的方式迚行组织和物理存储。行存储架构和列存储架构的数据库分别适用二不同的应用，具备各自的优劣势，如下图所示。列存储架构对查询、统计和分析类操作具备天然的优势。;能够按照数据类型和数据分布规律自动选择最优压缩算法，并设置了库级，表级，列级压缩选项，灵活平衡性能不压缩比的关系，而且压缩与解压缩过程对用户是透明。;粗粒度索引，每个数据包在加载数据时自动建立，包含过滤信息和统计信息，在数据查询时只需要解包就能得到统计值，可进一步降低I/O，对复杂查询癿优化效果明显。;;目录;DataEngine大数据架构;;;一键部署，分钟级交付;细颗粒度在线水平扩容;动态扩展;可视化运维;多维度监控告警;数据管理;全文检索;学生画像;BI展示