第2届超大数据库会议(XLDB2008)大会报告(中文版).pdfVIP

第2 届超大数据库会议（XLDB2008 ）大会报告（中文版） 第2 届超大数据库会议（XLDB2008 ） 大会报告（中文版） REPORT FROM THE 2nd WORKSHOP ON EXTREMELY LARGE DATABASES Jacek Becla*1 and Kian-Tat Lim2 SLAC National Accelerator Laboratory, Menlo Park, CA 94025, USA *1 Email: becla@ 2 Email: ktl@ 温馨提示：本文由厦门大学计算机系林子雨老师翻译自XLDB 会议网站的英文报告，转载请 注明出处，仅用于学习交流，请勿用于商业用途。 [本文翻译的原始出处：厦门大学计算机系数据库实验室网站林子雨老师的超大数据库技术 资料专区/XLDB] 翻译者林子雨个人主页：/linziyu 【摘要】在科学界和业界，大规模分析的复杂性已经在近些年有了很大的提升。分析人员正 在努力尝试使用复杂的技术，比如时间序列分析和分类算法，因为他们平时所熟悉的工具， 虽然功能强大，但是可扩展性较差，无法有效使用可扩展的数据库系统。第2 届XLDB 大 会，主要目的在于了解这些存在的问题，剖析这些问题的背后原因，并寻找相应的解决方案。 大会还讨论了建设一个新的开源科学数据库 SciDB，这个构想是在第 1 届 XLDB 大会 （XLDB2007 ）上提出来的。本文是本次大会活动和讨论的总结报告。 【关键词】分析;数据库;千兆级;亿亿次级;大型数据库;超大数据库; 1 大会总结 第2 届XLDB 大会，主要关注大规模复杂分析。与会代表包括数据密集型的科学和产 业应用领域、数据库研究群体和数据库厂商。 复杂分析。大会讨论了许多复杂分析任务的实例。产业应用通常集中在寻找和发现客户 行为模式。这些产业分析所采用的工具，和科学家在执行发现模式和异常的分析时所使用的 工具一样，比如时间序列分析和分类。 数据集的大小正在急剧增加，增长率也在不断提高。当前一个最大的项目，每年都会新 增加数万PB 的数据。类似R 、MATLAB 和EXCEL 等工具无法跟上数据增长的步伐，这使 得分析人员不得不生成可以放入内存的样本数据，而不是使用所有数据。这些超大数据集的 结构和针对这些数据集的应用，已经变得越来越复杂，因此，XLDB 系统必须在数据表示、 处理和硬件方面，都能够保持灵活性。有一种可能的方法，虽然需要某种程度的文化改变， 但是可以最大化灵活性并同时降低代价，这种方法是，以服务的方式提供分析工具，即使用 一个中央 XLDB 来支持分散在各地的、具有不同分析需求的群体。必须避免管理成本随着 数据量的快速增加而增加，因此，需要一个在发生硬件故障时仍然能够正常运行的自适应系 统。 SQL 的面向集合的特性和行级别的ODBC/JDBC 接口，给使用数据库的人员造成了一 定的障碍。基于数组的数据模型，在直观上和科学界以及业界遇到的数据类型比较匹配。和 厦门大学计算机科学系教师林子雨翻译 /linziyu 第 1 页/共 12 页 第2 届超大数据库会议（XLDB2008 ）大会报告（中文版） 分析工具的集成，以及和编程语言（比如 C++和 DLL ）的集成，也会有一定的帮助。发明 一种能够直接表达分析人员意图的语言，也是可能的，尽管这个语言被接纳的过程会有一些 坎坷。面向过程的MapReduce 阵营和面向声明语句的数据库阵营，已经开始逐渐意识到对 方的优点，开始走向融合。 随着分析变得越来越复杂，涉及的数据量越来越多，分析工作流及其结果的可再现性， 就变得尤为重要。虽然起源和再现性通常和科学界相关，业界现在也开始认识到这些特性的 重要型，这些特性很容易在数据库中进行处理。但是，同时我们也要注意到，完美的再现性 需要高昂的代价，甚至是不可能做到的，因此，有选择性地放松一致性保证也是很重要的。 SciDB 。最初的XLDB 活动达成了一个共识，那就是建设一个开放的开源科学数据库SciDB。 到目前为止，SciDB 创建者已经确定了最初的合作伙伴，组建了一个数据库研究智囊团，收 集了详细的用户用例，完成了最初的设计，募集了经费，建立了一个非盈利的机构，并且开 始招募工作人员。SciDB 的设计，采用了层次结构的、多维数组数据模型，具备相关的数组 操作，这些操作和关系数