[lc]introduction to parallel computing.pdf

11/30/12 Introduction to Parallel Computing Tutorials | Exercises | Abstracts | LC Workshops | Comments | Search | Privacy & Legal Notice Introduction to Parallel Computing Author: Blaise Barney, Lawrence Livermore National Laboratory UCRL­MI­133316 Table of Contents 1.  Abstract 2.  Overview 1.  What is Parallel Computing? 2.  Why Use Parallel Computing? 3.  Concepts and Terminology 1.  von Neumann Computer Architecture 2.  Flynn's Classical Taxonomy 3.  Some General Parallel Terminology 4.  Parallel Computer Memory Architectures 1.  Shared Memory 2.  Distributed Memory 3.  Hybrid Distributed­Shared Memory 5.  Parallel Programming Models 1.  Overview 2.  Shared Memory Model 3.  Threads Model 4.  Distributed Memory / Message Passing Model 5.  Data Parallel Model 6.  Hybrid Model 7.  SPMD and MPMP 6.  Designing Parallel Programs 1.  Automatic vs. Manual Parallelization 2.  Understand the Problem and the Program 3.  Partitioning 4.  Communications 5.  Synchronization 6.  Data Dependencies 7.  Load Balancing 8.  Granularity 9.  I/O 10.  Limits and Costs of Parallel Programming 11.  Performance Analysis and Tuning 7.  Parallel Examples 1.  Array Processing 2.  PI Calculation 3.  Simple Heat Equation 4.  1­D Wa