49221052 施贺杰.docVIP

49221052 施賀傑何承恩 TelegraphCQ TelegraphCQ的前身為Telegraph，首先會先就Telegraph部分做介紹，以及延伸的Component，爾後是TelegraphCQ的介紹。 Telegraph： Telegraph由數種Module組合而成。 1.Ingress and Caching： Telegraph和外頭輸入資料的溝通界面。 2.Query Processing： 處理query的module，像是select、group、project等等的operator。 1.SteMs：一個特別的state module，被Eddy用來暫存一些tuple。 3.Adaptive Routing： 為建構query plane的module，它可以在query處理過程中，動態做re-optimize功能。 1.Eddy： 處理如何route data到各個module間。 2.Juggle： 執行on-line reordering的工作。 3.FLuX： 負責route tuple到不同的運算機器上，提供平行處理和容錯的功能。 4.Fjord： Fjord是一個Inter-module communications API，使用者用此API去設計各個module的運作關係。Fjord還有一個特點，它允許使用者下query去同時存取stream data和傳統資料庫中的static data。 Eddy： Eddy依照一些routing policy去決定tuples routing路徑。 Routing policy: 1. Na?ve Eddy: Na?ve Eddy的方法是把tuple平圴分成二部分，分別送往兩個不同的operator。當二個不同的operator有相同的selectivity但cost不同時，Na?ve Eddy有不錯的效果。 2. Fast Eddy: Fast Eddy使用了Lottery Scheduling來加速。它的演算法為紀錄tuple經過operator所能減少的比例，在下一次需要routing tuple時，優先選擇減少比例最多的operator。Fast Eddy在不同operators間有不同的selectivity時會有不錯的效果。 假設我們的query 為： 假設s1和s2的selectivity 相同，而且s2的花費的cost固定為5 delay units 1. s1 before s2： 先把tuple傳到s1再傳到s2。當s1的cost小於5 delay units時，會比先傳到s2更快決定要不要drop tuple，所以曲線會比s2 before s1來的低。 2. s2 before s1： 先把tuple傳到s2再傳到s1。當s1的cost大於5 delay units時，結果和第一項相反，反而是先把tuple傳到s2會更快決定要不要drop tuple，曲線會比s1 before s2低。 3. Na?ve： 把tuple平分成兩部分，把第一部分用s1 before s2的方法，第二部分用s2 before s1的方法。Na?ve取第一項和第二項方法的平均。曲線走勢為把s1 before s2的執行時間和s2 before s1的執行時間相加，然後除2。當二個不同的operator有相同的selectivity但cost不同時，Na?ve Eddy有不錯的效果。 4. Lottery： Lottery Scheduling會把tuple優先傳往能drop最多tuple的operator，所以曲線在s1 cost小於5時，會和s1 before s2相近，當s1 cost大於5時，會和s2 before s1和近。 假設s1和s2花費的Cost相同，而且s2的selectivity固定為50% 1. s1 before s2： 當s1的selectivity小於50%時，先送往s1會比送到s2更有機會drop掉更多tuple的數目，所以執行速度會比s2 before s1快。 2. s2 before s1： 當s1的selectivity大於50%時，先送往s1反而不會比先送s2 drop tuple來的多，執行速度s2 before s1會比s1 before s2快。另外，因為s2的selectivity是固定的，影響速度就只有s1這個operator了，當s1的selectivity上昇後，通過s1的tuple就增加了，而後續處理這些tuple會耗掉一點時間。 3. Na?ve： Na?ve的曲線走勢為把s1 before s2的執行時間和s2 before s1的執行時間相加，然後除2。