Программное обеспечение для анализа модели

Статистические пакеты для анализа данных

В связи с ростом потребности статистического анализа данных практически во всех сферах деятельность, а особенно в научной, рынок программного обеспечения для статистической обработки данных стремительно развивался. В течение последних 20 лет компьютерные программы, способные статистически анализировать большие объемы данных для прогнозирования событий, оценки вероятных альтернатив выбора, выявления закономерностей, сделали большой шаг в своем развитии. Постоянно ведутся работы по совершенствованию программ в части сокращения времени работы с данными, повышения качества представления отчетов с результатами, модернизации интерфейса, актуализации справочной информации, добавления новых статистических методов, процедур и прочего.

Рынок программного обеспечения развивается стремительными темпами. Задачи по обработке данных разнообразны, для их решения применяются разноплановые типы статистических процедур анализа для получения ответов на вопросы по всем областям деятельности. Все это вызвало появление большого разнообразия статистических пакетов. На текущий момент на рынке можно встретить порядка тысячи статистических пакетов (компьютерных программ) для обработки данных.

Для рынка ПО для статистического анализа данных характерна высокая конкуренция, зачастую происходит объединение или поглощение компаний по разработке программ. К примеру, один из лидеров на рынке компания SPSS Inc. поглотила компанию SYSTAT Software Inc в 1994 году, а в 1996 году — BMDP Statistical Software Inc. За счет данных «покупок» компания повысила качество своих продуктов. Приобретение SYSTAT позволило оптимизировать процедуру обработки и анализа данных, а поглощение BMDP Software — улучшить графические инструментарий SPSS. В 2009 году компанию IBM Inc. поглотила компанию SPSS Inc.

Пользователю каждый раз необходимо выбирать оптимальный и подходящий для него статистический пакет, исходя из поставленного круга задач. Ни для кого не секрет, что оптимальным является вариант, комбинирующий в себе высокий уровень работы, нужные функциональные возможности и умеренную цену. При выборе важно обратить внимание на следующие характеристики:

соответствие параметрам поставленных задач;

объем данных для статистического анализа;

квалификация пользователя в области статистики (уровень знаний);

соответствие компьютерного оборудования пользователя.

По функциональности программы для статистического анализа можно разделить на 3 основные группы.

Универсальные пакеты, или пакеты общего назначения (например, Minitab, STATISTICA, STATA, S-PLUS, STATGRAPHICS, Stadia, SYSTAT, SPSS).

Данные программы не заточены под определенную предметную область, их можно применять для анализа данных в различных областях деятельности. В основном в этих программах используется простой интерфейс и предложен широкий спектр статистических методов и процедур. Как правило, с подобными статистическими пакетами работают начинающие пользователи, обладающие начальным уровнем знаний в статистике, или же опытные пользователи, которые находятся на начальном этапе работы и с набором статистических методов еще не определились. Возможность использовать широкий спектр статистических методов для пробного анализа различных типов данных делает данный пакет многопрофильным и универсальным. Практические все универсальные пакеты имеют ряд схожих друг с другом встроенных статистических процедур.

Каждый универсальный статистический пакет должен соответствовать следующему перечню требований:

иметь достаточно широкий перечень встроенных стандартных методов и процедур для статистического анализа.;

быть понятным для «новичка» в освоении интерфейса и применении различных методов анализа;

быть способным обрабатывать большие базами данных и соответствовать высоким требованиям к хранению данных;

иметь стандартизированный вид представления данных для их последующего использования в других пакетах анализа и базах данных;

иметь в наличии широкий выбор в графическом представлении данных и результатов анализа;

иметь некую базу знаний, или справочную систему, в которой пользователь сможет найти ответы на свои вопросы по использованию пакета; иметь документационное.

Профессиональные пакеты (например, BMDP, SAS).

Основное отличие профессиональных пакетов от универсальных в том, что первые позволяют обрабатывать гораздо больший объем данных, имеют более узкоспециализированные методы, есть возможность для создания своей системы для обработки данных. Зачастую, такие пакеты сложны для начинающих пользователей. Для профессионалов, наоборот, подобные пакеты предоставляют дополнительный широкий круг возможностей для более подробного анализа данных, исходя из своих потребностей к построенным моделям. Конечно, такие возможности добавляют к себестоимости, и профессиональные пакеты являются более дорогостоящи. Ценовой фактор препятствует широкому распространению использования профессиональных статистических пакетов в различных областях деятельности.

Специализированные пакеты (например, DATASCOPE, BioStat, MESOSAUR).

Существуют некоторые области деятельности, исследуемые данные которых специфичны и отличны от других, требуют применения соответствующих специфических методов, которых нет в универсальных пакетах.

Специализированные пакеты предназначены для проведения анализа данных отдельно взятой предметной области с применением узкого круга специализированных статистических процедур. Подобные пакеты используют высококвалифицированные специалисты соответствующей предметной области. Приведем примеры существующих специализированных пакетов:

BioStat — нацелен на анализ данных в области биологии и медицины.

MESOSAUR — отечественный статистический пакет, используется при анализе одномерных и многомерных временных рядов и построении регрессионных моделей.

DATASCOPE — российский статистический пакет, используется при анализе многомерных данных.

В случаях необходимости систематического решения для конкретной области или решения с использованием ограниченного набора сложных статистических методов, следует использовать соответствующий специализированный пакет.

Преобладающее количество существующих на рынке статистических пакетов имеют гибкую модульную структуру, которую можно изменять и дополнять за счет установки дополнительных плагинов (модулей), представленных для покупки или свободного скачивания в Интернете. Данная способность способствует адаптации пакета к требованиям конкретного пользователя.

Перечень минимальных требований, которым должен соответствовать каждый статистический пакет:

модульность;

ассистирование при выборе способа обработки данных;

использование простого проблемно-ориентированного языка для формулировки задания пользователя;

автоматическая организация процесса обработки данных;

ведение банка данных пользователя и составление отчета о результатах проделанного анализа;

диалоговый режим работы пользователя с пакетом;

совместимость с другим программным обеспечением.

Как правило, постоянно ведется поддержка существующих статистических пакетов. Каждая последующая версия приобретает новые возможности для анализа (добавление новых методов), не теряя при этом старый функционал. Новые версии зачастую остаются с начальным названием, меняется лишь порядковый номер версии. Распространенные пакеты поддерживают мультиязычность.

Каждая команда разработчиков рекламирует свой статистический пакет, как самый наилучший для анализа данных. При широком выборе зачастую сложно выбрать правильный пакет. В любом случае, статистический пакет лишь инструмент в руках аналитика. Если специалист не компетентен в конкретной области, то никакой совершенный пакет не поможет ему проделать качественный анализ. С другой стороны, неверно выбранный пакет может сильно затруднить процесс работы даже высококвалифицированного специалиста.

Статистические пакеты.

Ниже приведен минимальный набор статистических методов, который включены в каждый наиболее известный программный продукт, предназначенный для статистической обработки данных и относящихся к упомянутым ранее трем основным группам программ (таб. 2.1).

описательная статистика (базовые статистические методы, проверка нормальности распределения данных);

дисперсионный анализ;

кластерный анализ;

непараметрическая статистика (анализ таблиц сопряженности, непараметрические сравнения, дисперсионный анализ);

контроль качества;

обработка данных (сортировка, трансформация данных, отбор);

анализ выживаемости;

дискриминантный анализ;

регрессионный анализ;

факторный анализ.