Математические модели и методы повышения эффективности функционирования кластера компьютеров в центрах обработки данных
В ряде научных работ установлено, что большинство из перечисленных выше проблем может быть решено путем использования специального подхода к организации вычислительного процесса на базе виртуализации ресурсов вычислительной системы. Однако технические сложности реализации такого подхода, а также существовавшие до настоящего времени структурные ограничения разработанных подходов к виртуализации… Читать ещё >
Содержание
- ПРИНЯТЫЕ СОКРАЩЕНИЯ
- Актуальность темы
- Цель работы, объект и предмет исследования
- Методы исследования
- Научная новизна
- Практическая значимость
- Апробация и реализация результатов работы
- Положения, выносимые на защиту
- Краткое описание диссертации
- Исторический анализ предметной области
ГЛАВА 1. ИССЛЕДОВАНИЕ ВОПРОСОВ ОРГАНИЗАЦИИ И ФУНКЦИОНИРОВАНИЯ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ. ОСОБЕННОСТИ ОРГАНИЗАЦИИ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ ДЛЯ ПРЕДОСТАВЛЕНИЯ УСЛУГ ПО РАЗМЕЩЕНИЮ РЕСУРСОВ В ГЛОБАЛЬНОЙ СЕТИ.
1.1. Центры обработки данных предприятия.
1.1.1 Назначение центра обработки данных.
1.1.2 Ы-уровневая модель.
1.1 3 Возможности центра обработки данных.
1.14 Преимущества создан ия центров обработки данных.
1.2. Основные сервисы ЦОД.
1.2.1. Сервисы инфраструктуры.
1.2.2. Сервисы групп серверов.
3. Сервисы хранения.
1 2 4 Сервисы защиты.
1 2 5 Сервисы управления.
1.3. Группы серверов в центрах обработки данных.
1.3 1 Группа интранет-серверов.
1.3 2 Группа серверов Интернет.
1 3 3 Группа экстранет-серверов.
1.4. Архитектура центра обработки данных.
1. Уровни центра обработки данных.
1.5. Топологии центра обработки данных.
1.5.1. Логическая топология.
1.
2. Физическая топология.
ВЫВОДЫ ПО ГЛАВЕ 1.
ГЛАВА 2. ЭФФЕКТИВНОСТЬ ФУНКЦИОНИРОВАНИЯ И МОДЕЛЬ ВИРТУАЛЬНОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ ЦЕНТРА ДАННЫХ. ПОСТАНОВКА ЗАДАЧИ ИССЛЕДОВАНИЯ.
2.1. Общие сведения. Определение эффективности предоставления услуг по размещению ресурсов в глобальной сети в центрах обработки данных.
2.2. Постановка задачи исследования.
ВЫВОДЫ ПО ГЛАВЕ 2.
ГЛАВА 3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ И МЕТОДЫ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ КЛАСТЕРА КОМПЬЮТЕРОВ ДЛЯ" ПРЕДОСТАВЛЕНИЯ УСЛУГ ПО РАЗМЕЩЕНИЮ РЕСУРСОВ В ГЛОБАЛЬНОЙ СЕТИ В ЦЕНТРАХ ДАННЫХ.
3.1. Математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой
3.1.1. Общие сведения. Постановка задачи исследования.
3.1.2. Существующие подходы к консолидации серверов.
3.1.3. Технологи" виртуализации.
3.1.4. Су щность метода.
3.2. Математическая модель и метод построения сервиса балансирования нагрузки меэдау серверами асимметричной фермы.
3.2.1. Постановка задачи исследования.
3.2.2. Сущность метода.
3.3. Математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса.
3.3.1. Постановка задачи исследования.
3.3.2. Сущность метода.
ВЫВОДЫ ПО ГЛАВЕ 3.
ГЛАВА 4. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ ПО ОЦЕНКЕ ЭФФЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ КЛАСТЕРА КОМПЬЮТЕРОВ В ЦЕНТРАХ ОБРАБОТКИ ДАННЫХ НА ПРИМЕРЕ СИСТЕМЫ УПШЮггО.
ВЫВОДЫ ПО ГЛАВЕ 4.
Математические модели и методы повышения эффективности функционирования кластера компьютеров в центрах обработки данных (реферат, курсовая, диплом, контрольная)
Диссертация посвящена решению ряда научных задач, возникающих при использовании кластера компьютеров для предоставления услуг по размещению ресурсов в глобальной сети в центрах обработки данных.
Актуальность темы
.
Индустрия высоких технологий переживает в последние годы не лучшие времена, однако это никак не сказывается на росте объемов бизнес-информации. Базы данных предприятий увеличиваются подчас неконтролируемо, а приобретенные всего пару лет назад компьютеры перестают справляться с новыми приложениями.
Ситуация с корпоративными серверами еще серьезнее — их модернизировать и дорого, и хлопотно. Одно из технологически возможных, благодаря наличию доступных глобальных коммуникаций, решений — SAN (Storage Area Network, сеть хранения данных). Предприятие может приобрести решение проблемы хранения данных как услугу, без необходимости затрат на собственную информационную инфраструктуру.
Преимуществ у такого вида аутсорсинга много. Во-первых, отказоустойчивое серверное оборудование, климатические установки, блоки резервного нитания, аварийные электрогенераторы и прочие непременные атрибуты качественного центра обработки данных (называемых сегодня «дата-центрами») размещаются у поставщика услуги и не являются объектом тревоги для потребителя. Во-вторых, вместе с услугой хранения данных можно получить в виртуальную аренду лицензионно чистые программы, приобретение которых для ведения «единоличного» информационного хозяйства желательно, но нерентабельно.
Задача предоставления услуг по размещению ресурсов в глобальной сети (хостинг) для компьютеров возникла практически сразу с появлением возможности соединения вычислительных машин между собой. Определив сервис по размещению ресурсов в глобальной сети как возможность предоставления услуг какого-либо сервера внешним пользователям, можно говорить о том, что подобного рода сервис появился с появлением центров коллективного доступа в конце 70-х годов XX века. Обычно в них устанавливались компьютеры класса мейнфрейм, и их пользователи могли использовать предоставленный кем-либо сервис. Например, так были устроены системы продажи билетов, предназначенные для использования во внешних кассах.
Гораздо большее развитие получил этот класс сервисов с появлением и началом активного использования Интернет как глобальной среды доступа к различным информационным серверам. Растущие потребности в качественном обслуживании и поддержании в работоспособном состоянии как канала доступа в Интернет, так и собственно компьютера, на котором соответствующий сервис запущен, определили резкий рост числа центров данных и уровня предоставляемых ими услуг.
Система предоставления удаленных услуг базируется на концепции клиент-сервер. Так, задача разделения доступа к файлам — одна из тех, которые эффективно решаются подобным способом. Решалась она методом организации соответствующего сервиса на одной из участвующих в сети машин — то есть организацией файлового сервера, сервера баз данных и др. В этом случае на других участвующих в сети машинах устанавливалось такое програ*ммное обеспечение, которое позволяло работать с файлами, расположенными на соответствующих серверах, например, копируя их локально или имитируя боле удобным для пользователя способом доступ к сетевым файлам как доступ к файлам расположенным на неком виртуальном локальном диске. Таким образом, например, было устроено программное обеспечение, которое разрабатывалось для операционной системы персональных IBM-совместимых компьютеров DOS. В этом случае надо было установить клиентское программное обеспечение, которое в случае правильного подключения к сети и соответствующему файловому серверу давало возможность увидеть так называемый «сетевой драйв», файлы на котором реально располагались на удаленном файловом сервере, а с точки зрения программ, запущенных локально на клиенте выглядели как полностью локальные.
По данным Gartner Group, доля услуг аутсорсинга и обслуживания корпоративных информационных систем к 2004 году увеличилась до 57% по сравнению с 53% от общего объема услуг в сфере информационных технологий, оказанных в 2000 году.
Размер рынка аутсорсинга в США, где он имел объем в $ 25,7 млрд в прошлом году, к 2005 году, по оценкам IDC, достигнет $ 44 млрд. Среди японских компаний, до недавнего времени исполнявших все IT-задачи почти исключительно собственными силами, расходы на аутсорсинг достигли в прошлом году $ 8 млрд, а к 2005 году эта цифра должна вырасти до $ 15 млрд.
В России, по данным USB Brunswick Warburg, потенциальный рынок аутсорсинга IT-инфраструктуры составляет $ 25 млн., с перспективой роста в ближайший год на 50−70%. Рынок аутсорсинга приложений оценивается в $ 5 млн., с ростом в ближайшие годы на те же 50−70%.
Особенность архитектуры SAN — объединение в общую сеть обработки информации практически любого количества серверов и внешних устройств хранения данных и программного обеспечения. Для клиента системы все это многокомпонентное хранилище данных совершенно прозрачно и выглядит как обычные разделы на жестком диске. Серверы взаимодействуют друг с другом и внешними накопителями по скоростным оптоволоконным линиям связи, причем любой сервер (или несколько серверов одновременно) может обращаться к любому накопителю независимо от установленной на нем операционной системы.
Работой внешних накопителей нижнего уровня, которые представляют собой RAID-массивы дисков (дублирующих друг друга), управляют специальные компьютеры. Концепция создания корпоративных центров обработки данных (ЦОД) чрезвычайно популярна среди гигантов индустрии (Microsoft, IBM, HP, Oracle и т. д.), что понятно: концентрация вычислительных мощностей и больших массивов для хранения данных обеспечивает постоянный высокий спрос на их продукцию и услуги. Однако эта мощь является в то же время и слабым местом этой концепции. Чем сложнее система, тем она уязвимее и дороже в обслуживании. Концентрация ресурсов выгодна для больших предприятий или больших групп пользователей. Это может быть не обязательно только крупная корпорация, но и добровольное объединение небольших и средних предприятий, отдавших хранение своих данных на аутсорсинг.
Более сложные задачи возникают в случае, если сервер и сервисы разнесены в пространстве и соединены с помощью глобальной сети Интернет. Типичной ситуацией является один сервер, содержащий в себе некоторые данные (файлы), доступ к которым обеспечивается с помощью специальных сетевых протоколов, например, протоколом сервисов World Wide Web под названием http. Эти протоколы ориентированы на работу в распределенной сети клиентов и серверов, которая не столь связана как локальная сеть в первом примере, в которой точки обеспечения сервиса значительно удалены от клиента.
Для обслуживания этого протокола необходимо установить www-сервер, обеспечить его устойчивую связь с Интернет и бесперебойность работы самого компьютера с сервисом. Чаще всего подобные сервисы удается обеспечить в центрах данных, поскольку выделенные и надежные линии доступа в Интернет, избыточное электропитание, охлаждение, защита от пожара и физических воздействий требуют достаточно больших капиталовложений и специализации в этом бизнесе. Обычно центры обработки данных предоставляют следующие возможности для своих клиентов:
• выделенный компьютер центра данных с сетевым подключением с полным управлением пользователем;
• установка компьютера пользователя в помещение центра данных;
• предоставление небольшой части компьютера для использования клиентом предустановленного центром данных компьютерного сервиса.
Последний пункт требует от центра данных наличия соответствующего персонала и программного обеспечения, что обычно подразумевает, что этой задачей занимается специально выделенное подразделение или компания, а сам центр данных просто продает ей соответствующее оборудование. Чаще всего такие компании предоставляют услуги, так называемого, веб-по размещению ресурсов в глобальной сети — возможности использования вебсервера провайдера со своим контентом.
Традиционно компании-веб-хостеры предоставляют возможность использовать их собственный веб-сервер без каких либо модификаций в том виде, в каком он установлен. Отдельной проблемой является запуск так называемых «скриптов» — исполняемых так называемых CGI файлов, обычно написанных на каком-либо интерпретируемом языке {например, типа Perl), которые должны быть выполнены на сервере с аргументами, получаемыми из запросов пользователей. Обычно такие скрипты используют для динамической генерации содержимого веб-страниц серверов. По статистике уже давно большинство активных серверов практически все страницы генерируют «на лету» с помощью подобной техники. user user user user user.
Hardware itt—' a Ф E a О Ш, а ш.
LU.
Application Software 0 Operating System.
CN it.
CD E tz о 5.
CO it.
Q) E ф ?
Eo to.
CD E оt—' m.
ZJ О щ о о.
Network.
Рис. 1 Традиционная архитектура, используемая при организапии работы пользователей и компьютеров.
Вместе с тем существует множество проблем, которые возникают при использовании подобного рода приложений. К ним относятся проблемы с версиями используемых для работы интерпретаторов, проблемы с версией самого веб-сервера, проблемы в конфигурации веб-сервера, проблемы некорректно написанных приложений, вызывающих отказ в работе сервера, а также проблемы с безопасностью и возможностью получения несанкционированного доступа к данным других пользователей.
Указанные, а также многие другие проблемы возникают в силу того, что в подобной схеме пользователь получает доступ к общему серверу, который он не может модифицировать под свои потребности (см. Рис. 1). Скрипты в этом случае запускаются в общем для всех пользователей адресном пространстве, и любая проблема, возникшая с ними, влияет на всю систему сразу.
Веб-хостингом не исчерпывается набор запрашиваемых пользователями сервисов. Другим примером общеупотребительных сервисов является сервисы e-mail и ftp — почтовых услуг и доступа к файлам. Проблемы, возникающие при предоставлении подобных сервисов, сходны с уже описанными выше проблемами для www-сервиса. Кроме того, часто возникают потребности у пользователей просто получить доступ к компьютеру, у которого есть подключение к Интернет, например, по протоколу telnet.
Еще одним классом хостинг-сервисов, потребность в которых все чаще возникает на рынке, являются Поставщики Прикладных Услуг (ASPApplication Service Providers). Они обычно предоставляют совместный доступ к разделяемому приложению (например, базе данных) установленному и поддерживаемому администратором поставщика. Доступ пользователей ограничен исключительно доступом только к базе данных. Доступ к приложениям (например, офисные пакеты) в этом случае практически невозможен, поскольку они предполагают при установке, что на машине есть только один пользователь. Отдельно возникает еще и проблема с обеспечением безопасного доступа к данным.
Тем не менее, сегодня практически ни одна компания таких возможностей не предоставляет. Имеющиеся сервисы обычно ограничены или конкретно web/email/ftp-cepBepaMH или предлагают осуществить самостоятельную установку выделенной машины, администрирование которой ложится на плечи пользователя.
Для предоставления собственного удаленного компьютера потенциально могут быть использованы приложения-эмуляторы операционной системы, появившиеся впервые в системном программном обеспечении фирмы IBMOS/390. При их использовании пользователь получает в распоряжение полноразмерный компьютер с эмулируемым аппаратным обеспечением, на которое может установить свою собственную версию операционной системы. Существенной проблемой подобного рода реализации является высокий уровень требований к аппаратному и программному обеспечению подобных решений, который и определяет их чрезвычайно высокую цену. Такого рода решения характерны для компаний, способных содержать штат высококвалифицированного персонала и высокую входную плату при начальной установке системы.
Аналогичные системы, реализованные на базе много более дешевой архитектуре IBM PC-совместимых компьютеров, до последнего времени не обладали требуемыми свойствами. Подход, связанный с практически полной эмуляцией аппаратного обеспечения на программном уровне и работе на одном компьютере двух ядер операционной системы поверх друг друга приводил к тому, что масштабируемость подобного рода решений оказывалась низкой, а накладные расходы на обслуживание оказывались весьма существенными.
Такая ситуация приводила к тому, что пользователю, работающему в подобной среде, удавалось использовать лишь незначительную долю ресурсов и соответствующей им производительности, которую он мог получить от эмулятора. Недостаточная специализация аппаратного обеспечения не давала возможности эффективно реализовывать подобные решения в архитектуре IBM PC.
Наряду с этим, одно из качеств таких решений, которое оказывается весьма привлекательно как для пользователей, так и для администраторов, является повышенная унификация и управляемость. Для облегчения эмуляции аппаратного обеспечения ЭВМ, обычно для простоты выбирается достаточно небольшой набор опций, которые доступны для расположенной внутри эмулятора операционной системы. В этом случае упрощается процедура инсталляции и дальнейшей поддержки системы — как самого эмулятора (не так много опций однотипного оборудования, которые ему необходимо поддерживать), так и сопровождения и администрирования нижележащей операционной системы (одинаковое и небольшое количество «доступной аппаратуры»).
Такая ситуация приводит к тому, что, в отличие от реального состояния аппаратуры центра обработки данных, виртуальная аппаратура соответствующего уровня виртуализации оказывается намного менее разнообразной и не требующей сложного обслуживания. Таким образом, оказывается возможным осуществлять поддержку только высоко унифицированных конфигураций, что существенно уменьшает нагрузку на системных инженеров и администраторов, а так же позволяет создать высокоэффективное управляющее и следящее программное обеспечение всего комплекса.
Еще одной проблемой для центров обработки данных является проблема минимизации физического доступа клиентов к сетевому и аппаратному обеспечению. В настоящее время организация обслуживания клиентов в центрах данных подразумевает, что им необходим частый физический доступ к их собственным компьютерам. Это означает, что администрации центров приходится привлекать сложные технические средства контроля и обеспечения доступа, подразумевающие обычно дорогие и не всегда эффективные меры защиты от физических воздействий — шлюзы доступа, средства предотвращения доступа к аппаратуре центра данных и компьютерам других клиентов центра.
Тем не менее, потребность в частом доступе к аппаратуре во многом вызвана устаревшей методикой организации работы. Скажем, при повреждении программного обеспечения, препятствующей загрузке компьютера, предполагается, что необходим доступ клиента, который обычно осуществляет загрузку со специальных починочных дисков, и делает это в непосредственном физическом контакте с аппаратурой. При более эффективной организации такого рода процедуры можно не просто свести к минимуму, но и вообще устранить, оставив вмешательство в аппаратную часть системы только за персоналом центра.
В ряде научных работ [11, 23] установлено, что большинство из перечисленных выше проблем может быть решено путем использования специального подхода к организации вычислительного процесса на базе виртуализации ресурсов вычислительной системы. Однако технические сложности реализации такого подхода, а также существовавшие до настоящего времени структурные ограничения разработанных подходов к виртуализации ресурсов не позволяли эффективно организовать работу центров обработки данных при высоком уровне нагрузки и добиться при этом высокой степени утилизации аппаратного обеспечения. Именно отсутствие приемлемых подходов к решению выявленных проблемных вопросов позволяет со всей определенностью говорить об актуальности научных исследований в области виртуализации ресурсов ЭВМ. Потребность в подобного рода решениях существовала и, по мнению ряда экспертов, будет существовать в ближайшие годы.
Цель работы, объект и предмет исследования.
Цель диссертационной работы — разработка математических моделей и методов повышения эффективности функционирования кластера компьютеров при предоставлении услуг по размещению ресурсов в глобальной сети в центрах обработки данных.
Задачи исследования:
• Разработка математической модели организации и функционирования центров обработки данных, выявление узких мест в функционировании систем такого класса при предоставлении услуг по размещению ресурсов в глобальной сети.
• Разработка математической модели виртуализации ресурсов с использованием виртуальных сред.
• Разработка математической модели и метода использования кластера компьютеров для предоставления услуг по размещению ресурсов в глобальной сети.
• Разработка математической модели и метода балансировки нагрузки между компьютерами кластера.
• Разработка модели и метода переноса сервисов с одного узла кластера на другой без их остановки.
Объект исследования — математические модели процессов функционирования центров обработки данных в глобальной информационной сети Internet при предоставлении услуг по размещению ресурсов в глобальной сети.
Предмет исследования — модель виртуализации на основе виртуальных сред и методы повышения эффективности функционирования многомашинных комплексов (кластеров) в центрах обработки данных.
В ходе выполнения научных исследований автором была проведена серия экспериментов, результаты которых позволили численно оценить преимущества разработанных методов в результате сравнительного анализа с наиболее распространенными системами виртуализации.
Методы исследования.
В ходе научных исследований по разработке математической модели виртуальной среды и методов повышения эффективности функционирования кластера при оказании услуг по размещению ресурсов в глобальной сети использовались аналитические методы теории массового обслуживания, методы имитационного моделирования, методы теории операционных систем и системного программирования, методы анализа функционирования глобальных телекоммуникационных сетей.
Научная новизна.
Научная новизна работы заключается в том, что автором предложена математическая модель виртуализации ресурсов вычислительных систем и комплексов при предоставлении различных видов сервиса в глобальных сетях, основанная на формировании виртуальной среды пользователя. В отличие от ранее существовавших моделей виртуализации, разработанные в ходе диссертационного исследования математические модели и методы позволяют существенно повысить утилизацию ресурсов системы, повысить ее надежность и масштабируемость.
Разработанная математическая модель виртуализации ресурсов является новым вкладом в развитие теории операционных систем и системного программирования.
Практическая значимость.
Разработанные математические модели могут быть использованы при создании новых программных продуктов, предназначенных для обеспечения решения задач виртуализации с целью достижения максимального уровня утилизации ресурсов, масштабируемости систем и обеспечения их высокой надежности.
Кроме того, все разработанные математические модели и методы могут быть использованы в качестве самостоятельных решений различных задач, возникающих в ходе предоставления различных видов сервиса в глобальных и локальных сетях.
Так, математическая модель и метод балансировки нагрузки и переноса сервисов позволяют решить ряд технических проблем, связанных с обеспечением высокого значения показателя доступности сервиса, который наиболее важен для обеспечения стабильной работы критических приложений, электронной торговли и межбанковского взаимодействия.
На сегодняшний день разработанные математические модели виртуализации ресурсов на основе виртуальных сред использованы при создании коммерческого программного продукта Virtuozzo. По ряду оценок независимых экспертов (Отчеты Gartner Group: «Hype Cycle for Real-Time Infrastructure 2004», 16 June 2004, ID Number: GOO 120 918- «Hype Cycle for Real-Time Infrastructure 2003», 30 May 2003, ID Number: R-20−0815- «Logical and Software Partitioning in Server Consolidation», 7 May 2002, ID Number: T-16−1893), сегодня система Virtuozzo одна из наиболее популярных платформ для создания виртуальных выделенных серверов. Это единственное решение, обеспечивающее высокий уровень надежности и масштабируемости систем, что доказано десятками тысяч уже работающих в различных компаниях виртуальных выделенных серверов. Практическая значимость полученных результатов подтверждается и высокой экономической эффективностью разработанных решений.
Кроме того, практическая значимость результатов настоящего исследования подтверждается положительным решением по ряду заявок на изобретения.
Апробация и реализация результатов работы.
По выполненным диссертационным исследованиям опубликовано 7 работ. В опубликованных работах автору принадлежит более 40% материала, связанного с изложением основ магматической модели виртуализации ресурсов с использованием виртуальных сред.
Результаты диссертационного исследования докладывались, обсуждались и получили одобрение на нескольких конференциях: SoftTool 2002 г, Москва, Интерполитех, 2003 г, Москва, «Научно-практические аспекты совершенствования управления КЛ и информационного обеспечения запусков КЛ», г. Краснознаменск, 2004, «Ottawa Linux Symposium», Оттава, Канада, 2000, «ASP World Asia 2000», Сингапур 2000 и ДР.
Получено свидетельство о регистрации в Российском Агентстве по патентам и товарным знакам № 2 001 611 530 от 13.11.2001 г. на программный продукт HSPcomplete, основанный на технологии Virtuozzo.
Получен сертификат соответствия Министерства по связи и информатизации № К.и.7.01ЭС00, № ОС/1 -СПД — 463 на программно-аппаратный комплекс телематических служб.
По итогам научной работы по теме диссертации подано 24 заявки на изобретение, получено 1 положительных решений [87−105].
Результаты работы реализованы при создании программного комплекса У1гШ0г70. В настоящее время этот программный комплекс занимает лидирующее положение в сегменте рынка средств и технологий виртуализации ресурсов для предоставления услуг по размещению ресурсов в глобальной сети.
Положения, выносимые на защиту.
На защиту выносятся следующие основные положения:
1. Математическая модель виртуальной вычислительной среды.
2. Математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой, для предоставления услуг по размещению ресурсов в глобальной сети.
3. Математическая модель и метод построения сервиса балансирования нагрузки между серверами асимметричной серверной фермы.
4. Математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса.
Краткое описание диссертации.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и двух приложений. Работа изложена на 128 страницах, содержит 45 рисунок и список литературы из 86 наименования в алфавитном порядке.
Выводы по Главе 4.
В настоящей главе приведены результаты экспериментальной проверки эффективности разработанных методов. Показано, что применение подхода на основе виртуальных сред позволяет существенно повысить производительность системы в целом, снизить затраты на сопровождение и восстановление системы после сбоев.
Показаны и результаты экспериментов по отработке разработанных методов в составе программного комплекса УнШотго. Приведены результаты статических и динамических тестов производительности системы.
Общий вывод по результатам экспериментов, приведенных в этой главе: применение виртуальных сред для оптимального распределения ресурсов в многомашинных вычислительных системах (кластерах) позволяет существенно увеличить эффективность функционирования всего комплекса.
В целом проведенные эксперименты позволили сделать вывод о том, что улучшение отдельных характеристик вычислительной системы при условии не ухудшения значения всех остальных ее параметров ведет к существенному росту производительности всего вычислительного комплекса. Особую роль в этих процессах играет надежность системы и ее способность к восстановлению после аварий. Разработанный метод в четыре раза позволяет улучшить такой показатель системы, как время восстановления работоспособности сервиса после его переноса на другой компьютер. Это существенно влияет на рост общего коэффициента готовности системы в целом.
Заключение
.
Таким образом, поставленная в диссертационной работе задача решена полностью.
Применение разработанных автором математических моделей и методов позволяет существенно сократить время ответа системы и устранить возможные «узкие места» в архитектуре системы.
В работе автором решены следующие задачи:
• разработана математическая модель виртуальной среды в терминах теории массового обслуживания;
• разработана математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой систехМой, для предоставления услуг по размещению ресурсов в глобальной сети;
• разработана математическая модель и метод построения сервиса балансирования нагрузки между серверами асимметричной серверной фермы;
• разработана математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса.
Разработанная математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой, для предоставления сервиса по размещению ресурсов в глобальной сети позволяет более чем на 50% повысить уровень утилизации ресурсов серверной фермы, снизить затраты на ее обслуживание и поддержку.
Разработанная математическая модель и метод построения сервиса для балансирования нагрузки между серверами асимметричной фермы позволяет избежать возникновения перегрузки отдельных узлов кластера компьютеров в случае нестабильного роста информационного потока. Как показывают результаты проведенных экспериментов, применение этого метода вместе с методом использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред позволяет достичь уровня утилизации ресурсов кластера в 90%.
Использование виртуальных сред вместо традиционных виртуальных машин позволяет сократить ресурсы, используемые для администрирования самой системы и перенаправить их для решения целевых задач системы по предоставлению услуг по размещению ресурсов в глобальной сети .
Кроме того, схема с распределенной файловой системой позволяет осуществлять эффективно обслуживание аппаратной части компьютеров посредством того, что любая виртуальная среда может быть перенесена с одного компьютера на другой эффективным образом, то есть с требующего планового обслуживания компьютера можно переместить все запущенные там виртуальные среды эффективным и практически незаметным для пользователя образом.
В случае же неработоспособности виртуальной среды можно создать новую виртуальную среду, в ней осуществить доступ (монтирование) файлов неработоспособной виртуальной среды и предоставить доступ пользователю для восстановления программной конфигурации системы. Это оказывается возможным потому, что подобные сбои в работе программного обеспечения не влияют на функционирование как других виртуальных сред, так и базовой операционной системы.
Виртуализация среды исполнения позволяет запускать в виртуальной среде только приложения одной определенной операционной системы. Виртуальная среда имеет свою файловую систему, а также доступ к части процессорного времени, памяти и периферийных устройств, такой как сетевая плата. Виртуальных сред на одно, м компьютере может работать несколькоони тем или иным образом распределяются по всем процессорам, памяти и дискам. Поэтому виртуальные среды, как правило, не зависят от аппаратуры и могут легко перемещаться с одного компьютера на другой. Кроме виртуальных сред есть базовая операционная система, которая объемлет все виртуальные среды. Именно она скрывает подробности аппаратуры и занимается управлением реальными ресурсами компьютера.
Эмуляторами компьютеров, как правило, не эффективно используют ресурсы сервера, поскольку значительные их часть тратится на преобразование форматов данных и переключение контекста различных операционных систем. Так виртуализация компьютера позволяет запустить на одном физическом сервере всего несколько виртуальных машин. С помощью виртуальных сред исполнения можно добиться большей эффективности и расслоить один сервер на тысячи отдельных виртуальных сред.
С использованием виртуализации упрощается перенос приложений с одного сервера другой. Этот процесс, как правило, можно выполнить безостановочно — штатной операцией перемещения виртуальной среды. В результате, появляется возможность физически передвигать приложения к месту их оптимального использования. Например, если компания имеет центры обработки данных по всему миру, то с помощью виртуализации она сможет перемещать приложения туда, где они наиболее востребованы.
Как правило, перенос сервисов включает в себя два этапа: подготовку к переносу и, собственно, перенос сервиса. Именно время выполнения второго этапа и является временем недоступности сервиса для его клиентов, поскольку на первом компьютере он уже остановлен, а на втором не может быть запущен до окончания копирования.
Таким образом, предложенная автором двухступенчатая организация процесса переноса позволяет существенно уменьшить время недоступности сервиса в том довольно частом случае, когда велик размер файлов, которые процесс или сервис не трогает непосредственно в момент работы. Сокращение времени недоступности происходит за счет времени, которое необходимо затратить на передачу данных первого этапа.
Разработанная математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса существенно (более чем на 60%) повышает показатель доступности сервиса, что в современных условиях электронной экономики является одним из важнейших показателей.
Вместе с тем в ходе исследований были выявлены и некоторые недостатки. Так, например, использование виртуальных сред не позволяет пользователям применять различные операционные системы для обеспечения по размещению ресурсов в глобальной сети приложений с различными требованиями к организации ресурсов.
Однако этот недостаток не снижает ценности использования виртуальных сред, что было показано практикой внедрения системы Virtuozzo.
Вместе с тем для консолидации серверов все же целесообразно использовать оба подхода: и виртуальные среды и виртуальные машины, поскольку в некоторых случаях важна работа приложений, предназначенных для различных платформ, а в некоторых — эффективность решения.
В качестве основных направлений дальнейших исследований предлагаются:
• дальнейшее совершенствование математической модели виртуальной среды;
• отработка вопросов использования предложенного подхода к виртуализации ресурсов при создании приложений, призванных работать в распределенной вычислительной среде типа GRID.
Список литературы
- Лвен О.И., Турин H.H., Коган Я. А. Оценка качества и оптимизация вычислительных систем. М.: Наука, 1982.
- Боккер П. Передача данных (Техника связи в системах телеобработки данных) — Пер. с нем. М.- Радио и связь, 1981. Т. 1,2.
- Вейцман К. Распределенные системы мини и микро-ЭВМ- Пер. с англ. М.: Финансы и статистика, 1982.
- Вишневский В.М. Теоретические основы проектирования компьютерных сетей. М.: Техносфера, 2003. 512 С.
- Вишневский В.М., Савинецкий А. Б. Федотов Е.В. Метод и средства построения и реализации информационно-вычислительных сетей. // Измерения, контроль, автоматизация. Москва, 1992. — № 2.
- Вишневский В.М., Федотов Е. В. Анализ методов маршрутизации при проектировании сетей пакетной коммутации // 3-rd I.S. «Teletraffic Theory and Computing Modeling». София, 1992.
- Вишневский B.M., Федотов Е. В. Топологическое проектирование сетей пакетной коммутации // ИППИ РАН, Москва. 1992. — С. 93−95
- Вычислительные сети и сетевые протоколы / Д. Дэвис, Д. Барбер, У. Прайс, С. Соломонидес: Пер. с англ. М.: Мир, 1982.
- Гнеденко Б.В. и др. Приоритетные системы обслуживания. -М.: Изд-во МГУ, 1973.
- Гнеденко Б.В., Коваленко И. Н. Введение в теорию массового обслуживания. М.: Наука, 1987. — 336 с.
- Головкин Б.А. Параллельные вычислительные системы. М. Наука, 1980.
- Джейсуол Н. Очереди с приоритетами. М.: Мир, 1973.
- Довженок Т.С. Инвариантность стационарного распределения сетей с обходами и «отрицательными» заявками // Автоматика и телемеханика. -2002. № 9.
- Дроздов Е.А., Комарницкий В. А., Пятибратов А. П. Электронные вычислительные машины Единой системы. — 2-е изд. М.: Машиностроение, 1981.
- Дудин А.Н., Клименок В. И. Системы массового обслуживания с коррелированными потоками. Мн.: Изд-во Белорус, ун-та, 2000.
- Дэвис Д., Барбер Д., Прайс У., Соломонидес С. Вычислительные сети и сетевые протоколы: Пер. с англ. М.: Мир, 1981. -563с.
- Евдокимов В.П., Маловицкий В. И., Семинишин Ю. А. и др. Моделирование систем сбора и обработки данных М.: Наука, 1983. -128 с. 182 122,2324,25,2627,28