(大数据资源整理.docxVIP

最全大数据学习资源整理超人学院MySQL：世界最流行的开源数据库;PostgreSQL：世界最先进的开源数据库;Oracle 数据库：对象-关系型数据库管理系统。框架Apache Hadoop：分布式处理架构，结合了 MapReduce(并行处理)、YARN(作业调度)和HDFS(分布式文件系统);Tigon：高吞吐量实时流处理框架。分布式编程AddThis Hydra ：最初在AddThis上开发的分布式数据处理和存储系统;AMPLab SIMR：用在Hadoop MapReduce v1上运行Spark;Apache Beam：为统一的模型以及一套用于定义和执行数据处理工作流的特定SDK语言;Apache Crunch：一个简单的Java API，用于执行在普通的MapReduce实现时比较单调的连接、数据聚合等任务;Apache DataFu：由LinkedIn开发的针对Hadoop and 和Pig的用户定义的函数集合;Apache Flink：具有高性能的执行时间和自动程序优化;Apache Gora：内存中的数据模型和持久性框架;Apache Hama：BSP(整体同步并行)计算框架;Apache MapReduce ：在集群上使用并行、分布式算法处理大数据集的编程模型;Apache Pig ：Hadoop中，用于处理数据分析程序的高级查询语言;Apache REEF ：用来简化和统一低层大数据系统的保留性评估执行框架;Apache S4 ：S4中流处理与实现的框架;Apache Spark ：内存集群计算框架;Apache Spark Streaming ：流处理框架，同时是Spark的一部分;Apache Storm ：Twitter流处理框架，也可用于YARN;Apache Samza ：基于Kafka和YARN的流处理框架;Apache Tez ：基于YARN，用于执行任务中的复杂DAG(有向无环图);Apache Twill ：基于YARN的抽象概念，用于减少开发分布式应用程序的复杂度;Cascalog：数据处理和查询库;Cheetah ：在MapReduce之上的高性能、自定义数据仓库;Concurrent Cascading ：在Hadoop上的数据管理/分析框架;Damballa Parkour ：用于Clojure的MapReduce库;Datasalt Pangool ：可选择的MapReduce范例;DataTorrent StrAM ：为实时引擎，用于以尽可能畅通的方式、最小的开支和对性能最小的影响，实现分布式、异步、实时的内存大数据计算;Facebook Corona ：为Hadoop做优化处理，从而消除单点故障;Facebook Peregrine ：MapReduce框架;Facebook Scuba ：分布式内存数据存储;Google Dataflow ：创建数据管道，以帮助其分析框架;Netflix PigPen ：为MapReduce，用于编译成Apache Pig;Nokia Disco ：由Nokia开发的MapReduc获取、转换和分析数据;Google MapReduce ：MapReduce框架;Google MillWheel ：容错流处理框架;JAQL ：用于处理结构化、半结构化和非结构化数据工作的声明性编程语言;Kite ：为一组库、工具、实例和文档集，用于使在Hadoop的生态系统上建立系统更加容易;Metamarkets Druid ：用于大数据集的实时e框架;Onyx ：分布式云计算;Pinterest Pinlater ：异步任务执行系统;Pydoop ：用于Hadoop的Python MapReduce和HDFS API;Rackerlabs Blueflood ：多租户分布式测度处理系统;Stratosphere ：通用集群计算框架;Streamdrill ：用于计算基于不同时间窗口的事件流的活动，并找到最活跃的一个;Tuktu ：易于使用的用于分批处理和流计算的平台，通过Scala、 Akka和Play所建;Twitter Scalding：基于Cascading，用于Map Reduce工作的Scala库;Twitter Summingbird ：在Twitter上使用Scalding和Storm串流MapReduce;Twitter TSAR ：Twitter上的时间序列聚合器。分布式文件系统Apache HDFS：在多台机器上存储大型文件的方式;BeeGFS：以前是FhGFS，并行分布式文件系统;Ceph Filesystem：设计的软件存储平台;Disco DDFS：分布式文件系统;Facebook Haystack：对象存储系统;Googl