WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!


Pages:     || 2 | 3 | 4 | 5 |   ...   | 29 |
Министерство образования и науки Российской Федерации Федеральное агентство по образованию Нижегородский государственный университет им. Н.И. Лобачевского ВЫСОКОПРОЗВОДИТЕЛЬНЫЕ ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ НА КЛАСТЕРНЫХ СИСТЕМАХ Материалы пятого Международного научно-практического семинара 22–25 ноября 2005 г.

Издательство Нижегородского госуниверситета Нижний Новгород 2005 1 УДК 681.3.012:51 ББК 32.973.26–018.2:22 В 93 В93 Высокопроизводительные параллельные вычисления на кластерных системах. Материалы пятого Международного научнопрактического семинара / Под ред. проф. Р.Г. Стронгина. Нижний Новгород: Изд-во Нижегородского госуниверситета, 2005.

253 с.

Сборник сформирован по итогам научного семинара, посвященного теоретической и практической проблематике параллельных вычислений, ориентированных на использование современных многопроцессорных архитектур кластерного типа. Семинар проходил в Нижнем Новгороде 22–25 ноября 2005 года.

Вошедшие в сборник материалы семинара представляют интерес для преподавателей и научных сотрудников высших учебных заведений, а также для инженеров, аспирантов и студентов вузов.

Отв. за выпуск к.ф.-м.н., доцент В.А. Гришагин ББК 32.973.26–018.2:22 Поддержка семинара Российский фонд фундаментальных исследований Компания Intel Technologies Фонд содействия развитию малых форм предприятий в научно-технической сфере Компания eLine © Нижегородский госуниверситет им. Н.И. Лобачевского, 2005 2 22–25 ноября 2005 года Вычислительный Центр РАН, Институт математического моделирования РАН, Нижегородский государственный университет им. Н.И. Лобачевского провели в Нижнем Новгороде второй Международный научно-практический семинар и Всероссийскую молодежную школу «Высокопроизводительные параллельные вычисления на кластерных системах».

Главная направленность семинара и школы состояла в обсуждении основных аспектов организации высокопроизводительных вычислений в кластерных в кластерных компьютерных системах, активизации научно-практической деятельности исследователей в этой перспективной области развития современных средств вычислительной техники, обмене опытом учебно-образовательной деятельности при подготовке специалистов в области параллельных вычислений.

Проблематика семинара нацелена на рассмотрение следующих вопросов параллельных вычислений:

- принципы построения кластерных вычислительных систем;

- методы управления параллельных вычислениями в кластерных системах;

- параллельные алгоритмы решения сложных вычислительных задач;

- программные среды и средства для разработки параллельных программ;

- прикладные программные системы параллельных вычислений;

- методы анализа и оценки эффективности параллельных программ;

- проблемы подготовки специалистов в области параллельных вычислений.

В данный сборник включены материалы сообщений, которые представлены как в виде статей, так и в виде кратких тезисов. Материалы сборника упорядочены в алфавитном порядке по фамилии первого автора.

ОРГКОМИТЕТ СЕМИНАРА Стронгин Р.Г. председатель оргкомитета, ректор ННГУ, профессор, д.ф.-м.н.

Гергель В.П. заместитель председателя оргкомитета, профессор, д.т.н., ННГУ Батищев Д.И. профессор, д.т.н., ННГУ Евтушенко Ю.Г. директор Вычислительного центра РАН, чл.-корр. РАН Нестеренко Л.В. директор по стратегии и технологиям Нижегородской лаборатории Intel (INNL), к.ф.-м.н.

Сергеев Я.Д. профессор, д.ф.-м.н., ННГУ, Калабрийский университет (Италия) Четверушкин Б.Н. директор Института математического моделирования РАН, чл.-корр. РАН Гришагин В.А. ученый секретарь семинара, к.ф.-м.н., ННГУ АРХИТЕКТУРА И СИСТЕМНОЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ВЫЧИСЛИТЕЛЬНЫХ КЛАСТЕРНЫХ СИСТЕМ А.И. Аветисян, О.И. Самоваров, Д.А. Грушин Институт системного программирования Российской академии наук, Москва 1. Введение В ИСП РАН ведутся исследования по параллельному программированию и высокопроизводительным кластерным технологиям, поддерживаемые Российским Фондом Фундаментальных Исследований, Министерством промышленности науки и технологии Российской Федерации, Российской Академией наук и др. В рамках этих проектов ведутся работы, связанные с проектированием и построением высокопроизводительных кластерных систем, разработкой системного программного обеспечения и средств параллельного программирования для таких систем. Кроме того, ведутся работы связанные с интеграцией кластерных ресурсов в инфраструктуру Grid.

В данной работе затрагиваются вопросы архитектуры, проектирования и др. особенности построения высокопроизводительных кластерных систем, приводится обзор системного ПО, используемого при построении в ИСП РАН кластеров, а также рассказывается о высокопроизводительных кластерах построенных в ИСП РАН.

2. Особенности архитектуры вычислительных кластерных систем На современном этапе в тех областях, интенсивное развитие которых невозможно представить без высокопроизводительных вычислений широко используются модульные вычислительные системы, построенные на базе компонент общего назначения с использованием свободно распространяемого системного программного обеспечения с открытым исходным кодом называемые кластерами. Архитектура таких вычислительных систем представляет собой множество однородных по аппаратуре и настройкам системного ПО модулей, объединенных специальной высокопроизводительной коммуникационной средой, имеющих единый центр доступа, администрирования, мониторинга и работающих под управление специального системного программного обеспечения. Благодаря открытости и модульности архитектуры, использования распространенных на рынке компонент (процессоров, материнских плат, оперативной памяти, дисковой памяти и т.д.), свободно распространяемого ПО такие вычислительные системы имеют рад преимуществ: высокая производительность, эффективность, простота наращиваемости мощностей, простота эксплуатации и обслуживания и т.д. однако наиболее привлекательным свойством таких вычислительных систем является оптимальное соотношения цена/производительность.



Однако для того чтобы на практике получить описанные преимущества при использовании вычислительной системы для решения задач конкретной прикладной области на конкретном программном комплексе необходимо решить ряд задач еще на этапе проектирования вычислительной системы. Так архитектура вычислительного кластера должна учитывать особенности, используемой прикладным пакетом модели вычислительной системы, параметры аппаратуры кластера должны быть согласованны с требованиями прикладного пакета к производительности узлов и характеристикам коммуникационного оборудования, используемые системные библиотеки установленные на кластере должны поддерживать оптимизации прикладного пакета и т.д.

Решение данных задач требует глубокого понимания внутренней архитектуры прикладного пакета, используемых вычислительных параллельных алгоритмов, исследования современных технологий (многоядерных мультитредовых микропроцессоров, многопроцессорных платформ, высокопроизводительных сетевых технологий и т.д.) используемых при построении кластерных систем, разработки аналитических моделей позволяющих прогнозировать характеристики кластера для конкретного прикладного продукта, практического опыта построения таких систем.

Таким образом, построение высокопроизводительного кластера представляет собой комплексную задачу, которая включает в себя несколько этапов. Одним из наиболее важных является этап проектирования кластера. На этом этапе требования к кластерной вычислительной системе рассматриваться как его характеристики (производительность, эффективность, масштабируемость и т.д.) [1]. В этом случае, в соответствии с требуемыми характеристиками кластера и дополнительными требованиями заказчика (в том числе и бюджетом проекта), производится проектировочный расчет, и выбираются значения параметров аппаратной части кластера: выбор параметров вычислительного узла (разрядность, количество процессоров, объем памяти, объем кэша и др.), количество вычислительных узлов, характеристики коммуникационного оборудования, выбираются управляющий узел и управляющая сеть. В общем случае при проектировании кластера его характеристики задаются для теста HPL (High Performance Linpack). Для случаев, когда кластер проектируется под определенный пакет прикладных программ, вместо теста HPL используются тесты, характеризующие соответствующий класс задач. После определения проектных параметров и с учетом дополнительных требований (например, бюджет проекта) принимаются конструкционные решения о компоновке, системе энергоснабжения и охлаждения кластера.

Следующим важным этапом при построении кластера является установка и настройка системного программного обеспечения.

3. Системное программное обеспечение кластера Важной частью вычислительного кластера является его системного программное обеспечение, от выбора которого, правильной установки и конфигурации зависят не только его технические характеристики (производительность, эффективность масштабируемость), но и такие потребительские качества как удобство эксплуатации, надежность, безопасность. Известно, что не существует специализированных операционных систем для кластеров. Узлы кластерной вычислительной системы работают под управлением собственной независимой локальной копии операционной системы, в качестве которой, как правило, используется тот или иной дистрибутив ОС Linux. С учетом этих особенностей, для решения задачи по обеспечению возможности пользователей работать с кластером как с единой вычислительной системой коллективного пользования в настоящее время предлагается использовать специализированные системы управления кластерами. Такие системы работают совместно с базовой, установленной на узлы операционной системой и предлагают средства по инсталляции кластера, централизованного управления и мониторинга кластером, по обеспечению управления потоком заданий пользователей, выделению ресурсов кластера для их решения и т.д.

В своих работах связанных с построением высокопроизводительных кластеров мы используем системное программное обеспечение, построенное на базе операционной системы Linux RedHat и системы управления кластерами OSCAR[2]. В состав OSCAR входят средства позволяющие решать следующие задачи:

1. Инсталляция и модернизация кластера. Поддержание целостности системного окружения Системное окружение (ОС и средства обеспечивающие работу кластера), вычислительных узлов кластера устанавливается с использованием средств, входящих состав OSCAR. Особенностью используемых пакетов является то, что инсталляция операционного окружения осуществляется с единого, заранее настроенного по производительности и надежности работы образа ОС. Это позволяет:





• обеспечить максимально возможную однородность системного окружения вычислительных узлов;

• проводить модернизацию кластера, обеспечивая принцип однородности системного окружения;

• обеспечить максимально быстрое восстановление системного окружения вычислительных узлов в случаях сбоев.

2. Централизованное управление и администрирование OSCAR предлагает средства, которые позволяют управлять кластером и производить его администрирование из единого центра – управляющего узла. Это обеспечивает централизованное:

• выполнение коллективных операций;

• управление параллельным окружением;

• управление бюджетами пользователей.

3. Коллективный доступ к ресурсам кластера Коллективный доступ к ресурсам кластера в OSCAR обеспечивается использованием системы пакетной обработки заданий OpenPBS и планировщик заданий MAUI, особенностями которых являются:

• поддержка системы очередей заданий;

• возможность разделять общее вычислительное поле кластера на логические подмножества;

• возможности реализации гибких политик по выделению ресурсов в зависимости от требований задачи к ресурсам, загрузки кластера, времени суток, дня недели и т.д.;

• существующая система приоритетов позволяет реализовать различные сценарии доступа к ресурсам кластера для разных групп пользователей;

• наличие backfill алгоритмов обеспечивающих максимально равномерную загрузку ресурсов кластера.

4. Мониторинг кластера Система управления кластером OSCAR предоставляет средства мониторинга уровня операционной системы и уровня системы пакетной обработки заданий. Первое обеспечивается системой Ganglia и позволяет получать информацию о загрузке процессоров вычислительных узлов, памяти, сетевых интерфейсов использовании локальных дисков и т.д. В качестве средств мониторинга кластера уровня системы пакетной обработки в OSCAR предлагается система CLUMON которая работает совместно с OpenPBS и позволяет получать информацию о занятости ресурсов кластера, состоянии очередей заданий, прохождении заданий пользователей, и т.д. Обе системы имеют Web интерфейс.

Как член ассоциации Gelato [3] ИСП РАН ведет работу по интеграции собственных программных продуктов в систему управления OSCAR. В дополнение к стандартным, входящим в OSCAR пакетам на кластеры устанавливаются разработанные в ИСП РАН средства:

• активного мониторинга аппаратуры кластера;

• обеспечения доступа к ресурсам кластера через Web.

Система активного мониторинга аппаратной части кластера позволяет определять параметры аппаратуры кластера влияющие на его работоспособность: температуры процессоров, материнской платы, винчестеров и др., частоту вращения вентиляторов процессоров, корпуса, и др., наиболее критичные рабочие напряжения: напряжение ядра процессора, и пр. Администратор кластера имеет возможность выбрать интересующие его параметры аппаратуры кластера, выбрать узел или узлы кластера и передав запрос получить таблицу в которой отражаются режимы работы узлов кластера. При этом зеленый фон в таблице означает то, что параметр находится в допустимых пределах, красный цвет фона сигнализирует об аварийной ситуации, желтый говорит о том, что информация, о данном параметре не доступна.

В настоящее время, для того чтобы получить ресурсы кластера пользователь должен иметь непосредственный доступ к управляющему узлу кластера через один из протоколов удаленного доступа, например ssh. При этом взаимодействие с кластером происходит через терминальный вызов процедур командного интерпретатора и системы пакетной обработки заданий. Это не всегда удобно и безопасно. Для повышения удобства и безопасности эксплуатации кластера, необходимо обеспечить более высокий уровень абстракции взаимодействия пользователя и системы управления кластером.

Clusterweb – система разработана в ИСП РАН и обеспечивает доступ к ресурсам кластера в нотациях функционирующей системы пакетной обработки заданий, при этом внутренняя архитектура кластера для пользователя остается «черным ящиком» [4]. Поскольку система имеет Web интерфейс, нет необходимости, заботится об организации терминального доступа на управляющую машину кластера по тем или иным протоколам, решать административные вопросы, связанные с возможностью их использования, достаточно иметь Web-броузер. Clusterweb позволяет: создавать сценарии выполнения задания пользователя, выбирать требуемое параллельное окружение, обеспечить отправку и постановку в очередь на выполнение заданий пользователя, транспортировку стандартных потоков вывода на рабочую станцию пользователя. Clusterweb реализован на основе Java и XML с использованием сервера Tomcat. ClusterWeb может использоваться с различными системами управления кластерами, которые имеют интерфейс командной строки или API.

4. Высокопроизводительные кластеры, построенные ИСП РАН ИСП РАН совместно с компанией C.I.Technology были разработаны и построены несколько высокопроизводительных кластерных систем малой и средней мощности [5]. Построение кластеров включает в себя полный цикл работ связанных с проектированием, наладкой аппаратной части, установкой и настройкой системного программного обеспечения, тестирования, документирования, введения в эксплуатацию, обучения персонала, обеспечения дальнейшей поддержки функционирования и развития систем.

Pages:     || 2 | 3 | 4 | 5 |   ...   | 29 |










© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.