introduction à mapreduce - marc-antoine ruel.pptVIP

Processus concurrents et parallèlesITF-630 Introduction à MapReduce Préambule La performance des processeurs ??single-core?? stagne Le parallélisme permet de sortir de cette limite Genèse La contention tue la performance Corruption Performance Programmation fonctionnelle Programmation fonctionnelle Opérations fonctionnelles ne modifient jamais les structures de données; elles en créent des nouvelles Le flot de données est implicite L’ordre des opérations n’a pas d’importance Revue de la programmation fonctionnelle fun foo(l: int list) = sum(l) + mul(l) + length(l) Les calculs ne modifient pas les données existantes fun append(x, lst) = let lst = reverse lst in reverse ( x :: lst ) Utilisation de fonction comme argument fun DoDouble(f, x) = f (f x) Map map f lst: (’a-’b) - (’a list) - (’b list) Réduction fold f x0 lst: (a*b-b)-b-(a list)-b fold left vs. fold right L’ordre des éléments d’une liste peut être important Fold left Fold right Exemple fun foo(l: int list) = sum(l) + mul(l) + length(l) Comment l’implémenter? Exemple (Résolu) fun foo(l: int list) = sum(l) + mul(l) + length(l) fun sum(lst) = foldl (fn (x,a)=x+a) 0 lst fun mul(lst) = foldl (fn (x,a)=x*a) 1 lst fun length(lst) = foldl (fn (x,a)=1+a) 0 lst Problème de réduction plus compliqué Pour une liste de nombres, générer une liste de sommes partielles i.e.: [1, 4, 8, 3, 7, 9] ? [0, 1, 5, 13, 16, 23, 32] Problème de réduction plus compliqué étant donné une liste de mot, peut-on: renverser les lettres de chaque mot et renverser la liste complète? i.e.: [“pomme”, “patate”, “poil”] ? [“liop”, “etatap”, “emmop”] Implémentation fun map f [] = [] | map f (x::xs) = (f x) :: (map f xs) Parallélisme implicite dans map Indépendance des opérations Commutativité de f C’est la sauce “secrète” qu’exploite MapReduce MapReduce Motivations Traitement de données à grande échelle Traiter beaucoup de données Volonté de paralléliser sur plusieurs machines Facilité d’utilisation! MapReduce Parallélisat