Windows Azure HDInsight 大数据服务.pptVIP

所有这些，都可以在Windows Azure上应用 技术 安装位置 MongoDB VM仓库 Cassandra VM仓库 Neo4j VM仓库 SQL server Azure内置库 MySQL VM仓库 服务名 说明 Azure Tables Windows Azure上的列存储服务 Azure SQL Windows Azure上的关系型数据服务 Azure HDInsight Windows Azure上的Hadoop服务 数据服务 可部署在IaaS虚拟机上的大数据技术 Hadoop是支持MapReduce计算模式的开源软件 Windows Azure HDInsight 服务 HortonWorks Distributed Storage (HDFS) Query (Hive) Distributed Processing (MapReduce) Scripting (Pig) NoSQL Database (HBase) Metadata (HCatalog) Data Integration ( ODBC / SQOOP/ REST) Relational (SQL Server) Machine Learning (Mahout) Graph (Pegasus) Stats processing (RHadoop) Event Pipeline (Flume) Active Directory (Security) Monitoring Deployment (System Center) C#, F#, .NET JavaScript Pipeline / workflow (Oozie) Azure Storage Vault (ASV) PDW Polybase Business Intelligence (Excel, Power View, SSAS) HDInsight 生态系统 Worlds Data (Azure Data Marketplace) Event Driven Processing Legend Red = Core Hadoop Blue = Data processing Purple = Microsoft integration points and value adds Orange = Data Movement Green = Packages HDInsight使用模式 头节点 计算节点 计算节点 HDInsight 集群 Azure存储 用户 管理界面 Powershell/.NET SDK 提交Hadoop/Pig/ Hive/Sqoop任务 远程桌面 输入、输出文件 部署、监控 XL虚拟机 L虚拟机 L虚拟机 用户 部署，管理HDInsight 服务 演示 HDFS on Azure 为什么用Azure Storage替代HDFS？ Azure Storage采用类似HDFS的理念，同样是分布式存储，1份数据3份拷贝 Azure Storage具有更好的可靠性 (99.9% SLA)和可扩展性，不受Hadoop计算节点资源限制 将数据与计算分离，让计算更有弹性 Hadoop集群可以存取整个本地云中任意的数据，无需频繁的数据拷贝，与其他应用集成更简便 弱化数据本地性，所有集群节点可对等访问所有文件，简化编程 注：集群通过以下格式定位文件wasb://container@account./path或者wasb:///path （缺省存储账号上的数据） 使用HDInsight开发 C#, F# Map/Reduce, LINQ to Hive, .NET management clients JavaScript Map/Reduce, Node.js management clients PowerShell, Cross Platform CLI tools 新功能会更新到Hadoop社区发布版本里 HDInsight的独特之处 微软大数据方案 资源 HDinsight介绍 /en-us/documentation/articles/hdinsight-get-started Hadoop / HDP /products/hdp-windows/