SIGMOD2009 強会.pptxVIP

Session 7 : Testing and Security 担当：小林　大（NEC） 1 【SIGMOD2009勉強会】 I. Generating Example Data for Dataflow Programs C. Olston, S. Chopra, U. Srivastava (Yahoo! Research) データフロープログラム プログラムをデータのフローとoperator（filter, join等)で定義 Aurora, Dryad, Map-Reduce, Pig,… よいExampleデータが必要 扱うデータが巨大 → 短時間でプログラムチェックするには簡潔で特徴的なExampleが必要 プログラム理解や，新言語の習得にも有用 ナイーブなアプローチでは自動生成困難 （filterでexampleデータが空になる, operatorの特徴をうまく表現できない，など） 定式化 Exampleの良さを, 「Realism」(現実性),「Completeness」(完全性), 「Conciseness」(簡潔性）で定義し，定量化 Exampleデータ生成アルゴリズム データフローを用いたレコードLineageの作成による現実性向上と，完全性基準を利用した冗長レコードの削除 Session 7 : Testing and Security 担当：小林大（N