MioSpice PaaS平台应对大数据挑战.pptx

MioSpice PaaS平台应对大数据挑战MioSoft CorporationCopyright ? 2012 by MioSoft (Beijing) Corporation 大数据的挑战Copyright ? 2012 by MioSoft (Beijing) Corporation 单服务器架构与分布式架构单服务器架构通常使用传统的关系型数据库分布式计算与分布式数据库架构：MioSpice 和 HadoopBIG DATA 有限的数据容量 昂贵的服务器价格- 昂贵的存储成本 高伸缩性 由低成本的普通硬件组成的集群 更加经济的存储方式Copyright ? 2012 by MioSoft (Beijing) Corporation 模型化 vs. 非模型化RDBMS使用范式表BillCustomerContractAddress11**11Key: 椅子 米色 Value: 2Key: 椅子 黑色 Value: 5Key: 桌子 白色 Value: 3*Hadoop使用Key/Value库MioSpice使用面向对象模型*Copyright ? 2012 by MioSoft (Beijing) Corporation 从Record到Context?RDBMS Records每次查询时，根据SQL寻找建立关联CustomerCust_idNameAge……1000001张三21……SubscriptionAcc_idSub_idStatus……10000011081激活……AddressCust_idStreetCity……1000001CYBJ……AccountCust_idAcc_idDate……1000001982109/21……返回字符串MioSpice Context?数据加载时，一次性建立关联；每次查询时，直接得到关联结果Customer ContextCZCYBJ张三21...BJ…RelationshipLogicFunction Account ContextRelationship09211LogicFunction...Subscription Context…Relationship激活LogicFunctionContext返回对象!Models Rules·Connected DataRelationship·Copyright ? 2012 by MioSoft (Beijing) Corporation 数据存储形式在加载时，系统会产生许多的Context(模型实例)例如，每个客户会产生一个Context并与其合同数据相关；同样地，还会关联客户的帐单、详单等信息JoinJoinJoinCustomer 3Customer 2Customer 1Copyright ? 2012 by MioSoft (Beijing) Corporation 基于云的三层支持架构Copyright ? 2012 by MioSoft (Beijing) Corporation 数据库的接入目前支持的数据源类型：分层文件格式IMS*平面文件格式?- Character(s) Delimited（字符（串）作为分隔符）?- Fixed Length（固定长度记录格式）?- dmp文件?- Size prefixed文件（长度按预定义变化的记录格式）?- Regex Delimited（正则表达式作为分隔）?- CSV（逗号分隔格式）?- miodata结构化文件格式 - XML其它系统的专有文件格式SiebelSAPOracle……支持的系统间连接方式通过IBM Websphere MQ (读、写、请求和响应)通过ODBC通过Web服务(Web Services SOAP)及Web服务描述语言(WSDL)基于Web REST API的数据导入(支持增加，删除，修改和查询)基于Data Source 的数据直接加载Copyright ? 2012 by MioSoft (Beijing) Corporation ETL组件Copyright ? 2012 by MioSoft (Beijing) Corporation 功能十分强大的可视化ETL工具，使用ETL开发时即可看到输入和输出结果可进行各种各样的复杂数据抽取、清洗（包括group by，剔重等……）转换等数据结构化要求大多情况下，仅需点击设置即可完成ETL的过程分析嵌入式文件数据可基于任何方式的Key，在各种不同格式的文件之间进行分组和合并的操作，甚至可以依赖动态计算的Key值数据层事务保证Customer 3Customer 2Customer 1Context在一次事务中分发至Server应用程序可直接调用TA based