史上最全地“大大数据”学习资源上.docVIP

实用标准文案 精彩文档 史上最全的“大数据”学习资源（上） 本文章来自于阿里云云栖社区 摘要：?当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。为了帮助大家更好深入了解大数据， 当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。 为了帮助大家更好深入了解大数据，云栖社区组织翻译了GitHub Awesome Big Data资源，供大家参考。本资源类型主要包括：大数据框架、论文等实用资源集合。 在本次分享中，虎嗅网联合创始人韩祖利将为大家分享虎嗅网云上架构实践经验，包括如何打造高效图片系统、如何做好主动式缓存管理，以及使用云服务的经验。同时，也会从一个老司机的角度分享如何做好系统架构设计。 ? 资源列表： ??关系数据库管理系统（RDBMS） ??框架 ??分布式编程 ??分布式文件系统 ??文件数据模型 ??Key -Map?数据模型 ??键-值数据模型 ??图形数据模型 ??NewSQL数据库 ??列式数据库 ??时间序列数据库 ??类SQL处理 ??数据摄取 ??服务编程 ??调度 ??机器学习 ??基准测试 ??安全性 ??系统部署 ??应用程序 ??搜索引擎与框架 ??MySQL的分支和演化 ??PostgreSQL的分支和演化 ??Memcached的分支和演化 ??嵌入式数据库 ??商业智能 ??数据可视化 ??物联网和传感器 ??文章 ??论文 ??视频 关系数据库管理系统（RDBMS） ?? HYPERLINK / MySQL：世界最流行的开源数据库； ?? HYPERLINK / PostgreSQL：世界最先进的开源数据库； ?? HYPERLINK /us/corporate/features/database-12c/index.html Oracle?数据库：对象-关系型数据库管理系统。 框架 ?? HYPERLINK / Apache Hadoop：分布式处理架构，结合了?MapReduce（并行处理）、YARN（作业调度）和HDFS（分布式文件系统）； ?? HYPERLINK /caskdata/tigon Tigon：高吞吐量实时流处理框架。 分布式编程 ?? HYPERLINK /addthis/hydra AddThis Hydra?：最初在AddThis上开发的分布式数据处理和存储系统； ?? HYPERLINK http://databricks.github.io/simr/ AMPLab SIMR：用在Hadoop MapReduce v1上运行Spark； ?? HYPERLINK /projects/beam.html Apache Beam：为统一的模型以及一套用于定义和执行数据处理工作流的特定SDK语言； ?? HYPERLINK / Apache Crunch：一个简单的Java API，用于执行在普通的MapReduce实现时比较单调的连接、数据聚合等任务； ?? HYPERLINK /projects/datafu.html Apache DataFu：由LinkedIn开发的针对Hadoop and?和Pig的用户定义的函数集合； ?? HYPERLINK / Apache Flink：具有高性能的执行时间和自动程序优化； ?? HYPERLINK / Apache Gora：内存中的数据模型和持久性框架； ?? HYPERLINK / Apache Hama：BSP（整体同步并行）计算框架； ?? HYPERLINK /hadoop/MapReduce/ Apache MapReduce?：在集群上使用并行、分布式算法处理大数据集的编程模型； ?? HYPERLINK / Apache Pig?：Hadoop中，用于处理数据分析程序的高级查询语言； ?? HYPERLINK / Apache REEF?：用来简化和统一低层大数据系统的保留性评估执行框架； ?? HYPERLINK /s4/ Apache S4?：S4中流处理与实现的框架； ?? HYPERLINK / Apache Spark?：内存集群计算框架； ?? HYPERLIN