云计算在经营分析系统中应用的思路(信息管理处).ppt

云计算在经营分析系统中应用的思路 信息管理处* 汇报提纲 对云计算概念的理解 与网格计算同列的一种新型并行计算方式，代表为HADOOP，我方代表Big Cloud 你搭台，我唱戏 PAAS 代表是Google AppEnigne，我方代表地市数据集市 你只管用，剩下我来办 SAAS 代表GMAIL，我方代表经分前台页面的使用 虚拟化，按需分配，动态管理，灵活配置 IAAS 代表蓝云（IBM ，我方代表IDC 经分的“痒处”在那里 我们的想法是？ 充分利用云计算“低硬件成本，高综合利用率，可扩展性强，高可靠性”的特点，优化经分现有技术架构和管理模式 以HADOOP为代表的云计算技术（技术流）与目前在经分等IT系统中大量使用的并行数据库技术混装，充分发挥两者特点，追求整体最优 学习IAAS/PAAS/SAAS（管理流）的管理方式和经验，探讨在设备虚拟化管理、集成化开发平台和在线软件使用等方面的应用，在一经、南方基地等建设及试点项目中充分考虑 既要保持创新意识，建立一个云计算的新世界，又要充分利用现有设备、资源和技术，保护原有投资 从2003年建设至今，全国经营已经形成了六千TB存储和四亿TPCC处理量的软硬件体系，且运行平稳。无论在南方基地集中化建设方案还是云计算应用方案的时候，都要充分考虑现有系统的利旧，发挥余热 经分已经是一个稳定的系统，云计算这个尚未在电信及相关行业商用案例的新技术在其中的运用一定要稳步推进 汇报提纲 2010年拟开展研究的方向 获取层 应用层 数据层 访问层 结构化数据转换 ETL 数据挖掘 云存储 网页分类 互联网 信息收集 应用搜索 云数据库 前端展现 应用服务 数据封装 云备份 2009年已经在云计算应用到经分ETL和数据挖掘方面进行了探索 2010年拟继续从信息获取、数据存储和处理、数据挖掘几个方面开展前瞻性研究 其他云应用课题，例如前端展现云化、应用服务云化和云数据库等我们需积极跟进技术发展方向 研究课题1：基于云计算平台的经营分析系统ETL数据处理 BOSS CRM NMS ETL 基于流处理 数据集市 …… …… 获取层 数据层 功能组件 应用层 访问层 数据仓库 应用数据 基于云计算的ETL 基于文件处理 基础数据 中间数据 应用及访问（略） 原始数据 数据集市 中间数据 在云上实现基于文件的ETL 研究内容：研发基于云计算的ETL工具，实现经分系统所需的所有ETL类操作，选择经典主题和流程，按照已有实现从源数据、轻度汇总、高度汇总过程，结果导入现有数据库系统中以支持上层业务访问 目前进展：第一阶段的研究于09年4月委托研究院研究，已经完成中期总结，准备近期联系两个省公司试用。10年计划继续开展第二阶段研究。 类比软件：IBM DataStage / Oracle ODI / Huawei topeng-ETL 研究课题2：基于云计算平台的数据挖掘工具优化及应用 SAAS的数据挖掘工具 研究内容：以SAAS模式向地市分公司数据挖掘应用试点提供挖掘服务，并进行支撑能力的试验评估。根据在地市分公司数据挖掘应用试点中对云计算挖掘工具的实验评估情况，向云计算挖掘工具提出改进和完善的需求，包括功能、性能、易用性、数据安全性等。 目前进展：拟参考目前主流数据挖掘工具提出优化措施，并在上海、河南和福建公司进行验证 类比软件：SPSS Clementine 基于云计算平台的数据挖掘工具 工作流引擎/Web GUI 装载 数据挖掘算法集 数据挖掘向导/知识库 数据管理及探索 用户 权限 管理 预处理 结果 可视化 主要优化方向 完善装载、预处理等功能 按照经分特点设计挖掘算法 实现向导式挖掘，简化使用 研究课题3：基于云计算平台的WAP网页自动分类技术研究 非结构化数据分析 研究内容：基于云计算的搜索引擎技术，实现WAP网页自动分类,主要内容包括网页采集、分析、自动分类、分类检索。辅助经分完成客户WAP访问特征分析的功能。 类比软件：自动网页分类软件 步骤1：根据统计发现待分类网页列表 步骤2：派出爬虫抓回目标页面 步骤3：根据分类规则进行分类识别 某些热点Wap或Http网页 网页1 体育类 篮球 网页2 娱乐类 音乐 网页3 新闻类 时事 研究课题4：基于云计算平台的互联网信息收集技术研究 非结构化数据分析 研究内容：基于“云计算”的搜索引擎技术，实现行业信息垂直搜索，根据相关性等因素提供检索系统，给经分用户提供互联网情报分析信息。试点侧重在手机终端信息、号码黄页、竞争情报三个角度。辅助经分完成相关分析应用 类比软件：酷讯机票搜索、政府互联网舆情系统 手机网站垂直搜索 ——终端配置信息 黄页网站垂直搜索 ——电话黄页信息 互联网情报分析 ——用户反馈 ——竞争动