【管理咨询PPT课件】云计算与大数据时代的挑战和机遇.pptVIP

总结与展望 * * 数据分析复杂度 start report DOCK6 Receptor (1 per protein: defines pocket to bind to) ZINC 3-D structures ligands complexes NAB scriptparameters (defines flexible residues, #MDsteps) Amber Score: 1. AmberizeLigand 3. AmberizeComplex 5. RunNABScript end BuildNABScript NAB Script NAB Script Template Amber prep: 2. AmberizeReceptor 4. perl: gen nabscript FRED Receptor (1 per protein: defines pocket to bind to) Manually prep DOCK6 rec file Manually prep FRED rec file 1 protein (1MB) 6 GB 2M structures (6 GB) DOCK6 FRED ~4M x 60s x 1 cpu ~60K cpu-hrs Amber ~10K x 20m x 1 cpu ~3K cpu-hrs Select best ~500 ~500 x 10hr x 100 cpu ~500K cpu-hrs GCMC PDB protein descriptions Select best ~5K Select best ~5K 癌症制药 1个靶点: 400万任务500,000 cpu-小时 (50 cpu-年) * 大数据Big Data 大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合 大数据 = “海量数据”+“复杂类型的数据” 涉及各个行业领域 电力、电信、经贸、教育、医疗、金融、石油、民航 天文、气象、基因、医学、物理、互联网 与人类社会活动有关的网络数据 * 大数据特征 不同结构的复杂数据：关系型数据、日志和文本 数据流量大：数据处理从批处理转向流处理 大容量：从TB、PB到ZB 数据即资源，体现价值，数据中能挖掘出价值信息 Variety: Velocity: Volume: Value： * 美国奥巴马政府2012年推出了“大数据研究和 发展倡议” ，并投资2亿美金支持大数据的研发， 说明大数据已成为信息科技领域的热点。 资本市场高度关注大数据技术型企业的发展 风投机构Accel Partners设立1亿美元专项基金 大数据分析公司Splunk，首日上市IPO即上涨109% 大数据软件提供商Birst公司今年已经从红杉资本等机构获得了2600万美元的投资 为开源大数据技术Hadoop的商业版本提供销售和支持服务的Cloudera获得7500万美元投资 MapR、10Gen、DataStax等大数据软件服务商近期都完成了千万美元级的融资。 市场环境 市场预测 根据Wikibon最近发布的报告，大数据市场正处在井喷式增长的前夕，未来五年全球大数据市场价值将高达500亿美元。 国内云计算及大数据市场已经初步具备发展态势，据研究表明，大数据市场规模也将从2010年的167亿元增长到2013年的1174亿元，年均复合增长率达到91.5%。 十大发展趋势预测 数据的资源化 大数据的隐私问题突出 大数据与云计算等深度融合 基于大数据的智能的出现 大数据分析的革命性方法 大数据安全 数据科学兴起 数据共享联盟 大数据新职业 更大的数据 * 大数据技术 * 大数据全景 * 大数据公司2011收益 * 非结构化数据存储和查询 * SQL： 结构化存储，固定Schema 索引 标准化查询语言 ACID 扩展性弱 NoSQL： Schema不固定，可以动态改变 没有固定查询语言 可以扩展到很大规模 高容错性 一般ACID在一个节点内，最终达到一致 CAP定理 * 分布式非结构化数据库 * 海量数据存储和访问 Facebook上亿条用户动态 高并发数据库读写 每秒上万次读写请求 高可扩展性 动态横向扩展，不许停机维护和数据迁移 高可用性 24x7在线，数据不丢失 数据存储/共享/备份 * 大数据处理平台 * Hadoop开源大数据平台 * 分布式处理框架 分为Map和Reduce两个阶段 分布式文件存储 数据分布在多个节点上 自备份，自恢复 高级脚本式语言 优势： 高扩展性–能够存储和处理PB级的数据 高可靠性 –采用冗余存储，能够自恢复 灵活性 –可以存储各类数据 经济 –采用普通P