数据密集型科学与工程 需求和挑战.docVIP

第３卷　第８期 ２１年８月 计　　算　　机　　学　　报 ＣＩＥＥＪＵＮＬＯＣＭＵＥＳ Ｖｌ３Ｎ． Ａｇ２１ 　 数据密集型科学与工程需求和挑战 １ １ １２ １ １２ １ ２ 复旦大学上海市智能信息处理实验室　上海　０４３ 摘　要　科学研究在经历了实验科学理论科学计算科学阶段后进入了数据密集型科学阶段与之相伴的是大 数据时代的到来．数据泛指规模达到几百Ｔ甚至Ｐ级的数据 其典型的特征是分布异构低质量等．管 传统数据库管理技术特别是商业关系型数据库在过去４年间取得了巨大成功但是这些技术和系统无法有效 管理支持数据密集型科学与工程ＤｔＩｎｅＳｅ ａｄｎｅｉＤＳ的大数据．中探讨数据密集型科 学与工程的具体需求和现实挑战．涵盖的内容表现在４个层面包括数据存储与组织计算方法数据分析以及 用户接口技术等．时数据质量数据安全数据监护等内容也需要在各层面得到重视．中尝试梳理了数据密集 型科学与工程的整体架构回顾了相关领域的新近发展分析了面临的挑战探讨了未来的研究方向． 关键词　大数据数据密集型科学与工程需求挑战 中图法分类号Ｔ３１　　犗号１．２Ｓ．１１．１．５３ 犇狋犐狀犲犛犲 犪犱狀狀狉犵犚狇狉犲狊狀犆犪犲犲 ＧＮＸｅＱｇ　ＩＣｅＱｇ　ＷＡＧＸｏｉ），　Ｈ ＧＲｎ　ＨＵＡｉ），） ） ２犛犪犵犻狔犫犪狉犳狀犾犲犐犳犿狋 犘狅狊犵犉犱犝犻狉狔犛犪犺　０３ 犃狊犪　Ｓｅｉｅｐｒｉａｅｅｐｉｎｌｃｎ ｔｏｔａｓｅｃａｄｏｐｔｉａ ｓｅｃｐａｓｉｏｄａｎｎｅｓｅｃｐａ ｅａｏｐｎｄｂ ｅａｉｏ ｅｂｇｄａ ｅ．ｅｅｌｂｄａｅｒｔａｄａｔｗｈｉｏｈｎｒｓｆＢｏｓｅｌＢｒｖ ａｏｅａｄｔｓｏｅｄｔｂｔ ｈｅｇｎｕａｄｎｏａｔ．ｓｃｔａｔｄ ｅｎｖ ｍｔｏｓｏｍｎｇ ｇｄａｉｅｒｉｏａｄａａｍｎｇｍｎｔｈｑｅ ｅｕｆｓｌｔ ｍｎｇ ｇｄａｆｃｎｙｄｅｅｉｙｔｏｇｓ ｔｎｅｅｅａｙｈｃｍｅｉｒ ｌｉｌＤＭｓｈｖａｉｅｇａｓｃｓｎｅｐｔｅｄ．ｈｐｒｄｃｓｃｎｅ ｒｕｅｅｓｎｒｌｔｃａｅｇｏＤｔＩｎｅＳｅｅａｄＥｇｅｉ ＤＳ）ｒｇｇ ｆｍｄａｔａｅａｄｏａｚｉ ｃｍｕｔｎｍｔｏｄａｎｙｓｔｕｒｎｒｃ． Ｍａｗｉｄａｑａｔｄａｓｕｙａｄｄａｕｔｎｓｏｄｅａｍｒａｅｉｓｎｔｓ ｐｐ ｗａｅｐｔｄｃｂｔａｈｅ ｅｏＤＳｒ ｗｔｅｒｅｐｇｓａｄｉｕ ｔｃａｅｇａｄｕｅｗｒｂｅｙ 犓狔狅狊 ｇｄａＤｔＩｅｓｅＳｅｅａｄＥｇｅｉ ＤＳ）ｒｕｅｅ ｃａｅｇ  收稿日期２１０１最终修改稿收到日期２１７ 本课题得到国家核高基项目２１Ｚ００２００３０）国家自然科学基金 项助．学庆男１７年生副教授主要研究方向为数据库技术Ｗｂ数据管理等．澈清男１７年生， 博士教授主要研究领域为数据流管理不确定性数据管理技术基于位置的服务等．晓玲女１ 年生教授博士生导师主要研究 兴趣为ＸＬ数据管理Ｗ服务等．　蓉女１７年生博士副教授主要研究兴趣为Ｗｂ服务云计算等．傲英通信作者）男， １６年生教授博士生导师主要研究兴趣为数据管理与信息系统包括Ｗｂ数据管理中文Ｗｂ基础设施Ｗｂ搜索与挖掘数据流 与数据挖掘复杂事件处理与实时商务智能不确定数据管理及其应用数据密集的计算分布存储与计算对等计算及其数据管理Ｗｂ 服务计算等．ｍｉａｈｕｓ．ｎ．ｕｃ． １Ｂ相当于１字节１Ｂ相当于１字节．１６ 计　　算　　机　　学　　报 ２１年 中国计算机学会通讯２１年７月刊的专题数据 ＤｔＩｅｓｅｏｐｔｇ的相关技术也介绍了 大数据管理技术业已成为当前和未来一段时间 几位专家正在开展的工作．上论著侧重于从一 内计算机领域的重要研究课题之一．国的总统科 些具体方面介绍分析大数据对传统数据管理技术 学顾问委员会于２１年底提出一份报告认为数 的强烈冲击．实上大数据的出现已经在数据管理 据规模呈指数增长……各联邦机构都需要制定应 的各个层面产生了深刻的影响数据密集型科学与 对大数据的策略”．谓大数据泛指规模达到 工程ＤｔＩｎｖｃｎａｄｎｅｎＤＳ） 几百Ｔ甚至Ｐ级的数据广泛出现在科学研究 已经成为目前国内外的一个研究热点．文尝试梳 Ｗｂ集成多媒体等诸多领域中．ｍＧａ图灵奖 理了ＤＳ的整体架构回顾了相关领域的新近发 获得者认为当今时代已是数据密集型科学研究时 展探讨了ＤＳ的研究方向和所面临的挑战．Ｓ 代即ｅｃｎ时代科研人员的工作重心多已转 的基本框架如图１所示包括数据存储和组织计算 向如何分析海量数据并获取知识．如天文望 方法数据分析用户接口等４个方面以及在整个 远镜是重要的天文观测工具正在建设中的ＬＳ 数据管理过程中需重视的数据质量数据安全数据 天文望远镜ＬｒＳｎｐｃＳｒｙＴｅｐ在 监护等问题． 服役后每天将会产生３Ｔ数据．ｅ数据的规 模增长也非常迅猛根据中国