текст работы - кафедра вычислительных технологий.doc

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования ?КУБАНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ? (ФГБОУ ВПО ?КубГУ?) Кафедра вычислительных технологий ПАРАЛЛЕЛЬНЫЕ АЛГОРИТМЫ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ ИММИТАЦИОННОГО МОДЕЛИРОВАНИЯ Моспан Надежда Вадимовна Краснодар 2014СОДЕРЖАНИЕ Введение3 1 Обработка больших данных5 1.1 Технология MapReduce7 1.2 Фреимворк Apache Hadoop14 2 Источники больших данных в системах моделирования22 2.1 Процессы порождения информации в системах имитационного моделирования24 2.2 Вычислительные алгоритмы обработки последовательностей27 2.3 Паттерны в последовательностях29 2.4 Онлайновые алгоритмы обработки последовательностей34 3 Параллельные алгоритмы обработки больших данных имитационного моделирования38 3.1 Алгоритм поиска расстояния Хемминга39 3.2 Алгоритм поиска частного паттерна42 Заключение47 Список использованных источников48 ВВЕДЕНИЕ В ряде областей современной науки (физике, химии, астрономии, биологии, фармацевтике и др.) накапливаются громадные (пентабайтные и более) объемы данных. Большие объемы данных возникают и вне науки, например, в сети Интернет. Например, компьютеры Google обрабатывают около 1 петабайта в час. Эти данные нуждаются в обработке для извлечения из них знаний (определенных закономерностей). Проблема состоит в том, что упомянутые наборы данных не статичны, они постоянно растут, т.е. скорость потока новых данных ?соревнуется? с возможной скоростью их обработки. Но не все данные в потоке равноценны: вместе с данными, из которых действительно можно извлечь новые закономерности (знания), имеется большое количество данных, лишь подтверждающих уже выявленные закономерности, или данных, вообще не имеющих отношения к исследуемой проблеме (шумы). Во многих случаях большим потоком данных можно управлять, влияя на процессы порождения данных или фильтруя полученный поток. Одним из методов научных