微软处理海量非结构化数据技术和解决方案.pptVIP

微软处理海量非结构化数据的技术和解决方案 DAT315 朱海峰 高级技术方案顾问 微软（中国）有限公司 孙巍 技术总监 北京中达金桥技术服务有限公司 点击此处修改二级标题 将幻灯片标题设置为 “Title Case” 标题字号为 40分或类似尺寸，并尽可能不换行 将二级标题设置为 “sentence case” 二级标题的字体颜色已经在PPT模板中定义 议题 SQL Server 能力及案例 文档存储技术发展趋势 案例讨论 文档存储技术发展趋势 新时代非结构型数据的挑战 提供全方位可扩展的数据平台以满足... 关系型数据管理使用的语法来管理... 支持统一、标准的数据模型，例如... ...通过资源投入到...  爆炸性产生的电子／数码数据的惊人数据量 加速的全球化进程 在企业周边应用中产生的新的数据类型 结构型和非结构型数据集成日渐紧密 新一代应用需要使用不同数据种类 抽象化的数据形态定义 直接支持特种数据种类 联邦(和祥扩展并发)的数据管理 未来的发展方向 统一标准的存储平台支持所有数据类型、各式 新数据形态成为标准实体 单一数据平台的应用，需要协调的数据存取 简约、可扩展的管理模式 结构型、非结构型数据的集成 支持BLOB的抽象编程接口 提供更多的‘服务’围绕非结构化数据，例如：搜索，分析 提供集成多种空间数据源的能力 提供结构化和非结构化数据的关联、集成 属性的提取/推广 灵活的架构 适用于非关系型数据的关系型操作 实体汇总 实体数据 访问 企业级数据查询 通过实体架构实现对实体的直接搜索查询 针对多数据源的联合并发搜索查询 与 Microsoft Office SharePoint Server 和 FAST 的集成 其他 数据源 数据源1 数据源2 数据源3 FAST SQL Server SharePoint SQLServer存储 数据／文件流 可适用于不同网域的数据流服务，例如：金融、制造，监测数据 基于历史数据实现决策支持的和业务分析 与现有SQL Server 部件集成，充分利用现有能力，例如：报表、数据分析 报警，报表 报表及 数据分析 数据流 服务引擎 数据流服务应用接口 SQL Server文档存储新技术 文档、多媒体文件的存储 优势 存储成本最低（每GB） 文件流(streaming)性能较高 备份、恢复单元较小 存储成本较低(大存储量场景) 扩展性较佳 统一的管理模式 数据、事务的一致性 挑战 较为复杂的应用架构导致开发、实施的复杂度提升 与结构型数据的集成 较为复杂的应用架构导致开发、实施的复杂度提升 分隔的数据管理 尽陷于大型企业使用场景 大数据量文件流性能限制 存储成本较高 范例 Windows File Servers NetApp NetFiler EMC Centera Fujitsu Nearline SQL Server VARBINARY(MAX) 传统的三种存储模式 SQL Server 非结构型数据存储技术 RBS - Remote Blob Storage FILESTREAM BLOB Storage SQL BLOB 文件流(FILESTREAM)简介 非结构数据直接储存于文件系统(使用NTFS文件系统) VARBINARY(MAX) 数据类型上注明存储属性即可开启文件流存储功能 丰富的双重编程模式 T-SQL语句(数据库语法)编程 Win32文件系统I/O编程接口支持数据库事务属性 BLOBs 大小上限= 文件系统大小 与SQL Server集成数据库管理，例如：备份、恢复... 与SQL Server数据库安全管理集成 RBS 技术简介 远程BLOB存储 标准的存储接口可使用不同存储体系 后端存储无技术限制：文件系统、数据库、文件流、专用文档存储等等 后端存储改变不影响应用(不需要改变) 宽松（链路级）一致性保证 SQL Server管理链路级一致性和垃圾收集，例如：删除、更改等等 市场趋势 RBS优势 降低BLOB存储成本 降低数据库工作负载，提高系统扩展性 标准应用端借口可使用不同存储 使用经济的普通服务器完成复杂的存储和工作流要求 非结构型数据存储技术一览 文件系统 SQL BLOBs RBS技术 FILESTREAM 文件流 文档流性能 Depends on external store Depends on external store 链路级一致性 数据级一致性 集成管理 外置 BLOB 存储 n/a 演 示 使用不同方式访问SQL Blob数据 孙巍 技术总监 北京中达金桥技术服务有限公司 SQL Server Blob数据访问 SQL Server Blob访问方式 Filestream存储 T-SQL访问 Win32 API访问