Анализ и построение зависимостей

Курсовая работа Анализ и построение зависимостей

Введение

Цель: показать знание теории точечных статистических оценок, продемонстрировать умение грамотно проводить обработку статистических данных и статистических рядов и на основании результатов вычислений делать заключение об изучаемом процессе.

Задачи: уметь производить обработку экспериментальных данных; уметь выбрать схему изучения статистических данных, подобрать необходимые методы и формулы для расчётов; уметь сравнивать результаты расчётов, полученных разными методами; закрепить навыки вычислений и анализа.

Необходимые расчеты рекомендуется выполнять с использованием различных пакетов математических и статистических программ. Все графики выполняются только с использованием пакетов математических и статистических программ.

1. Согласование выборочных распределений

1.1 Пояснительная записка

Пусть у нас есть так много наблюдений, что их гистограмма «почти совпадает» с точным априорным распределением. Допустим также, что эта гистограмма построена так, что не проставлены числа вдоль осей. Без чисел на вертикальной оси мы не можем сказать, сколь велика выборка. Но поскольку нам интересно распределение, а не выборка и выборка велика, можем забыть об этих числах. Далее, без чисел на горизонтальной оси мы не можем сказать даже приблизительно, каковы значения выпавших наблюдений, как распределение растянуто или сжато, каковы его положение и масштаб. выборочный статистический генеральный совокупность

Потеряв положение и масштаб, мы теряем лишь два числа и соответственно многое остаётся. Вот всё то, что остаётся, и обозначается обычно словом форма. Даже распределения, принадлежащие к одному и тому же математическому семейству, могут иметь весьма разные формы. Реальная практика согласования выборочных распределений показывает, что их принадлежность к какому-либо известному теоретическому распределению часто нелегко установить, анализируя отдельную выборку или даже весь объём имеющихся данных, составляющий, быть может, тысячи наблюдений.

В части I настоящей работы предлагается согласовать распределение выборочных изделий со свойствами избранного семейства «нормальных» распределений, плотность вероятности которых задаётся формулой

для -? < X < ?, где м и у — соответственно генеральные среднее и стандартное отклонение, е — основание натуральных логарифмов 2,7 182 818…, а р — наш старый знакомый 3,1 415 926…

Термин «нормальное» многие истолковывают как обыкновенно появляющееся, что не совсем правильно, ведь известно, на практике никогда не бывает распределений, в точности удовлетворяющих этой формуле, — ни для отдельных наблюдений, ни для средних значений, ни для других производных величин, хотя есть как умозрительные, так и фактические основания считать, что многие эмипирические распределения должны хорошо ею аппроксимироваться.

1.2 Общее описание задания

При выполнении части I курсовой работы (КР) необходимо провести обработку статистических данных по схеме:

1. Отбор экспериментальных данных с помощью таблицы случайных чисел.

2. Составление таблиц распределения частот по данным выборки.

3. Графическое представление распределения частот полученных наблюдений.

4. Вычисление числовых характеристик распределения выборочных частот.

5. Проверка степени соответствия полученного распределения выборочных частот нормальному распределению.

6. Проверка, что выборка осуществлялась по случайному закону.

7. Проверка гипотезы о нормальном распределении генеральной совокупности.

8. Проверка предположения, что распределение генеральной совокупности является нормальным.

2. Отбор экспериментальных данных с помощью таблицы случайных чисел

Результаты наблюдений, в общем случае, представляют собой ряд чисел, расположенных в беспорядке.

С самого начала должно быть ясно, что ко всем собранным статистическим данным будут применяться одни и те же методы анализа независимо от природы данных.

То есть независимо от того, измеряются ли данные в миллиметрах, фунтах на квадратный дюйм, килограммах, градусах, миллиметрах ртутного столба и т. д.

Генеральная совокупность (см. таблицу А) содержит несистематизированные данные, полученные в результате замера наружнего диаметра всех 1000 деталей, изготовленных предприятием за дневную смену.

На основании предшествующих опытных данных относительно характера контроля производственного процесса известно, что партия имеет приближённо нормальное распределение со средним значением, равным 60, и стандартным отклонением, равным примерно 10.

Для контроля за правильностью производственного процесса из этой генеральной совокупности выбирается по случайному закону 150 изделий.

Для такого отбора используется таблица случайных чисел (см. таблицу Б) и отбор производят в следующем порядке:

1. Начав с верхнего левого трёхзначного номера (543) и последовательно опускаясь вниз, выписывают из таблицы Б случайных чисел все первые 150, включая и повторяющиеся.

Если при этом встречается число 000, то его следует заменить на 1000. Отметим, что мы вольны применить любой другой способ систематического выбора этих случайных чисел, помня о правиле запрета повторения пройденного пути.

2. Выбранные случайные числа являются порядковыми номерами деталей из генеральной совокупности (таблица А) и мы выписываем соответствующие значения Хi признака Х в таблицу 1.

Таблица А

Нормальная генеральная совокупность: N=1000, м=60, у=10

Таблица Б Случайные пятизначные числа

Таблица 1

150 случайных чисел и результирующая случайная выборка 150 изделий из генеральной совокупности объёма N=1000

Экстремальные значения случайной выборки: хmin = 30 и хmах = 89.

3. Составление таблиц распределения частот по данным выборки

В том виде, в каком данные представлены в таблице 1, они мало приспособлены для осуществления контроля производственного процесса. Гораздо больших результатов можно достичь при распределении частот наблюдаемого признака в порядке увеличения их численных значений (ранжирования данных).

Таблица 2

Распределение частот вариационного ряда по данным из таблицы 1

Оцифровывая значения частот из таблицы 2 и заменяя пробелы нулями, получаем статистический ряд (см. таблицу 3).

Таблица 3

Статистический ряд по данным из таблицы 2

Полученная картина остаётся всё ещё недостаточно наглядной и компактной для эффективного визуального анализа. Компактность может быть достигнута соответствующей группировкой данных, то есть разбиением всех значений Хi признака Х из таблицы 3 на интервалов длиной? Х = (хmах — хmin)/S, где n — объём выборки.

Из таблицы десятичных логарифмов из Приложения 1, находим S = 8,229? 8.

?Х = 7,4? 8,

Таким образом, разбиваем все значения НСВ Х из таблицы 3 на восемь интервалов (групп) длиной 8 каждый, причём правая граница предыдущего интервала служит левой границей следующего. Получаем частичные интервалы по схеме:

Х1 ч Х1 + ?Х = Х2,

Х2 ч Х2 + ?Х = Х3,

…

Х8 ч Х8 + ?Х = Х9.

Таблица 4

Сгруппированное распределение частот по данным рассматриваемого примера

4. Графическое представление распределения частот полученных наблюдений

Полигоном частот называют ломаную, отрезки которой соединяют точки (Хс;mi), где Хс — середина интервала группировки, mi — соответствующая данному интервалу частота.

Рис. А. Полигон частот

Рис. Б. Гистограмма частот

Гистограммой частот называют ступенчатую фигуру, состоящую из прямоугольников с основаниями длиной ДХ и высотами mi.

Откладывая по оси ординат соответствующие интервалам группировки накопленные частоты nx, получают так называемую огиву. Нормальное распределение принимает на диаграмме огивы форму s-образной кривой.

Рис. В. Огива

5. Вычисление числовых характеристик распределения выборочных частот

После осуществления выборки дальнейшая работа с данными строится на принципе свёртки информации — получения числовых характеристик распределения.

Одной из основных характеристик распределения, как видно из нашего примера, является тенденция наблюденных значений признака группироваться вокруг центра этого распределения. Эта характеристика называется центральной тенденцией.

Центральная тенденция обычно выражается тремя величинами:

1) средней величиной, именуемой средней арифметической выборки или выборочной средней;

2) средней величиной, именуемой медианой;

3) наиболее часто повторяющейся величиной, именуемой модой.

Эти величины также называют характеристиками положения, так как они показывают расположение полигона частот относительно оси абсцисс.

Когда ряд наблюденных значений хотят охарактеризовать одним значением, целесообразно бывает использовать выборочное среднее арифметическое .

Формула определения выборочной средней на основе данных о распределении частот (таблица 4).

,

S — число интервалов разбиения (частичных интервалов),

Хс — середина частичного интервала,

mi — частота частичного интервала.

При некоторых формах распределения (речь идёт об эмпирическом распределении в отличие от теоретического распределения генеральной совокупности) более хорошей характеристикой положения является медиана. К таким распределениям относятся распределения, обладающие значительной асимметрией или очень удлинёнными краями.

Медиана Mе представляет собой значение признака, которое делит пополам распределение всех наблюденных значений, то есть является той точкой, выше и ниже которой лежит равное число наблюдений.

Формула определения медианы на основе распределения частот, т. е. для интервальных статистических рядов:

Mе = ,

L — начало медианного интервала,

ДХ — длина частичного интервала,

nm-1 — накопленная частота предмедианного интервала,

mm — частота медианного интервала.

Для интервального статистического ряда под модой Мо понимается значение признака в наиболее плотном интервале (так называемом модальном интервале).

Формула определения моды на основе распределения частот

Мо = ,

L — начало модального интервала,

mm — частота модального интервала,

mm-1 - частота предмодального интервала,

mm+1 — частота постмодального интервала.

В нашем примере = = 60,72.

Для определения медианы интервального статистического ряда (таблица 4), по определению, необходимо выбрать интервал, в котором находится варианта, делящая ряд пополам. Это легко сделать, используя последний столбец (накопленные частоты).

Медианным интервалом нашего ряда является интервал (58 ч 66). Значит,

.

Значение моды

Мо = 58 + 8Ч = 62.

Рассмотренные выше числовые характеристики служат для описания распределения с точки зрения тенденции наблюденных значений признака группироваться вокруг некоторого их среднего значения.

Наряду с этим всякое распределение характеризуется также рассеянием — отклонением значений наблюденного признака от его среднего значения. Для оценки варьирования (колеблемости) наблюденных значений будем пользоваться только стандартным отклонением.

Таблица 5

Вспомогательная таблица для вычисления числовых характеристик распределения таблицы 4

Формула определения стандартного отклонения на основе распределения частот:

.

Для рассматриваемого интервального статистического ряда:

= 10,89.

Форма распределения обычно описывается с помощью характеристик, получивших название асимметрии и эксцесса. Вероятность получения значений, лежащих в пределах некоторого заданного интервала, частично зависит от асимметрии и эксцесса распределения.

Асимметрия, как явствует из названия, показывает, насколько несимметрично распределение, в то время как эксцесс характеризует островершинность или плосковершинность распределения (в точке максимальной частоты). Кривая может обладать большой крутизной и называться в этом случае островершинной, характеризоваться небольшой крутизной и называться плосковершинной или, наконец, иметь среднюю крутизну. Нормальная кривая обладает средней крутизной.

Коэффициент скошенности, или асимметрии, характеризует тенденцию к рассеянию в одном направлении больше, чем в другом.

Коэффициент относительной скошенности, или выборочный коэффициент асимметрии определяется для сгруппированных данных:

.

Разумеется, для симметричного распределения sk = 0. Если значение sk меньше нуля, то большая часть ряда распределения располагается слева от оси ординат; если sk больше нуля, то справа от неё.

В нашем случае

sk = = - 0,15,

что подтверждает сделанный выше вывод.

Эксцесс, напомним, характеризует островершинность распределения. Относительный эксцесс, или выборочный коэффициент эксцесса определяется:

.

Имеем:

ex = - 3 = 0,05.

Для теоретического нормального распределения коэффициенты асимметрии и эксцесса равны нулю.

6. Проверка степени соответствия полученного распределения выборочных частот нормальному распределению

Исчислив на основе данных нашего примера соответствующие им числовые характеристики, мы можем сопоставить полученные значения с параметрами нормально распределённой генеральной совокупности (см. табл. 6). Результаты такого сопоставления говорят о том, что фактические данные близки к теоретическим. Поскольку сопоставление основывалось на выборочных данных, естественно было ожидать некоторого их расхождения с теоретическими.

Таблица 6

Функции результатов наблюдений и приближённые оценки нормально распределённой генеральной совокупности

7. Проверка, что выборка осуществлялась по случайному закону Будем использовать критерий согласия Пирсона

. (1)

Если, как это обычно имеет место,

,

то указанную формулу можно преобразовать к виду более удобному для вычислений

. (2)

Проверяемая гипотеза состоит в том, что выбор 150 изделий из нормальной генеральной совокупности с м = 60 и у = 10 был произведён по случайному закону. Так как известны параметры нормальной генеральной совокупности, то критерий ч2 может только проверить случайный характер выборки.

В качестве уровня значимости выберем б = 0,05.

Для того, чтобы получить визуальное представление о степени соответствия нашей выборки нормальной кривой, воспользуемся гистограммой частот 150 изделий (см. рис. Б) с наложенной на неё нормальной кривой с параметрами м = 60 и у = 10. Вычисленные значения ординат нормальной кривой приведены в таблице 7.

Таблица 7

Ординаты нормальной кривой: м=60; у=10; n=150; ?Х=8

— середина теоретического интервала

Значения вычислены с использованием таблицы 2.1 из Приложения 2. Величины Yс получены путём умножения каждого из этих значений на Y0,

.

Умножение на, а не на вызвано тем, что площадь гистограммы должна быть равна 100, а не 1 и являться суммой площадей прямоугольников с основанием ДХ.

Увеличение числа интервалов и изменение их границ вызвано симметричностью нормальной кривой относительно м.

При рассмотрении рис. Г может создаться впечатление, что между нормальной кривой и гистограммой наблюдается несоответствие. Однако при этом следует помнить, что выборка содержит только 150 изделий, и наличие даже существенного расхождения не следует считать слишком неожиданным.

В таблице 8 приведены данные наблюдений с правилами распределения площади под кривой нормального распределения. Фактический процент наблюдения находится путём простого подсчёта частот mi статистического ряда (таблица 3), попадающих в заданные интервалы ± zs и соотнесённых с объёмом выборки n = 150. В нашем случае наблюдается хорошее согласие процентов наблюдений.

Таблица 8

Сопоставление опытных данных с правилами распределения площади под кривой нормального распределения

Рис. Г. Нормальная кривая и гистограмма 150 изделий, взятых по случайному закону из приближённо нормальной генеральной совокупности (м = 60, у = 10)

Теоретические частоты для рассматриваемого распределения 150 изделий, взятых из генеральной совокупности с м = 60 и у = 10, приведены в таблице 9. Порядок вычисления объясняют заголовки каждого из столбцов этой таблицы.

Очевидно, что значений 1-го столбца следует выбирать нечётное количество с учётом величины м так, чтобы серединное значение равнялось значению м.

Таблица 9

Вычисление теоретических частот для 150 изделий, взятых по случайному закону из приближённо нормальной генеральной совокупности (м=60; у=10; n=150;ДX=8)

Значения в первой и последней строчках 2, 3 и 4-го столбцов равны соответственно -? и +?, так как нормальное распределение теоретически простирается от -? до +?. Числа, указанные в 5-м столбце, взяты из таблицы 2.3, приведённой в Приложении 2. Наличие знака «минус» у первых цифр этого столбца, соответствующих значениям, меньшим нуля, обусловлено тем, что при Хр < м

< 0.

В 6-м столбце приведены первые разности.

Так, например,

Вычисленное по формуле (1) значение ч2 приведено в таблице 10. Как следует из этой таблицы, значение ч2 = 1,2433. В этой таблице приведено семь групп (интервалов), то есть на две группы меньше, чем в таблице 9. Сокращение числа групп осуществлено за счёт объединения первых двух, а также двух последних групп. Это сделано потому, что значения m* в первых двух и последних двух группах весьма малы. Очень часто применяется правило, указывающее, что критерий ч2 может применяться в тех случаях, когда каждая теоретическая группа содержит по крайней мере пять наблюденных значений, а общее количество наблюденных значений составляет по крайней мере 50.

Введение

этих ограничений имеет вполне определённую цель: гарантировать, что распределение наблюденных значений mi относительно значений теоретических частот будет настолько близко к нормальному, что применение при оценке вероятностей таблиц для ч2 будет вполне обоснованным.

Хотя таблица 10 содержит семь групп, имеется только шесть степеней свободы (н = S — 1 = 7 — 1 = 6), так как на теоретические частоты накладывается одно ограничение: .

В таблице для ч2 из Приложения 3 для н = 6 находим При этом область принятия будет определяться соотношением ч2 < 12,592, а область отклонения — соотношением ч2? 12,592.

Таблица 10

Вычисление ч2 для распределения частот при ширине группового интервала, равной 8, и выборке из 150 изделий, взятых по случайному закону из нормальной генеральной совокупности: м=60; у =10

Так как вычисленное значение ч2 составляет 1,2433, то оно попадает в область принятия, в связи с чем нет оснований для отклонения гипотезы о том, что выборка осуществлялась по случайному закону.

8. Проверка гипотезы о нормальном распределении генеральной совокупности Если параметры распределения неизвестны, но можно считать, что выборка взята по случайному закону, то может возникнуть желание проверить гипотезу о том, что генеральная совокупность является нормальной. При этом снова примем б = 0,05.

Так как параметры распределения неизвестны, используем совместные оценки максимума правдоподобия, исчисленные на основании группировки (таблица 4). Такими оценками являются для м и s2 для у2.

По формулам и, находим:

В таблице 11 показано вычисление теоретических частот, а из таблицы 12 по формуле (2) находим ч2 = 0,59.

Таблица 11

Вычисление нормальных частот для 150 изделий, взятых по случайному закону из генеральной совокупности с неизвестными параметрами:=60,72; s=10,89

Полученное в этом случае значение ч2 несколько меньше того значения, которое было указано в таблице 10, так как среднее значение и стандартное отклонение теоретического распределения были согласованы (за исключением ошибки группирования) со средним значением и стандартным отклонением выборки. Однако значение ч2 уменьшилось незначительно, то есть и м достаточно хорошо согласуются между собой, а s и у не очень сильно отличаются одно от другого.

Таблица 12

Вычисление ч2 для распределения частот при ширине группового интервала, равной 8, и выборке из 150 изделий, взятых по случайному закону из генеральной совокупности с неизвестными параметрами:=60,72; s=10,89

При этой проверке критерий ч2 имеет 4 степени свободы, а 3 степени свободы потеряны, так как согласование наблюденных и теоретических частот осуществлялось из трёх условий:

;; .

Из 7 групповых частот любые четыре можно взять случайно или произвольно, а выбор 3-х остальных групповых частот нельзя осуществлять произвольно, если наблюденные и теоретические распределения должны иметь одинаковые количество элементов, средние и стандартные отклонения.

Воспользовавшись таблицей из Приложения 3, находим Значит, область принятия определяется соотношением ч2 < 9,488.

Так как вычисленное значение ч2 лежит в области принятия, гипотеза Н0, что генеральная совокупность, из которой взята эта случайная выборка, является нормальной, не отвергается.

9. Проверка предположения, что распределение генеральной совокупности является нормальным

Проверка при помощи критерия ч2 не является окончательной. Даже если значение ч2 невелико, наличие у разностей одного и того же знака может указывать на то, что генеральная совокупность не является нормальной.

Вычисление а3 и а4 или g1 и g2 и проверка их значимости может также указывать на то, что следует осуществить проверку некоторых других гипотез. Если значение или оказывается больше 2, то, может быть, надо проверить согласованность исследуемого распределения с другим распределением, отличным от нормального.

Вычисляем k-статистики Фишера, используя результаты вычислений из таблицы 5.

k3 == ;

k4 =

=.

Здесь .

Можно вычислить оценки, аналогичные г1 = б3 и г2 = б4 — 3:

g1 = = g2 ==

Заметим, что

Значимость и можно проверить путём сравнения с их стандартными ошибками, применяя формулы:

и .

Получим:

и

< 2 и < 2.

Поскольку ни одна из оценок более чем в два раза не превосходит свою стандартную ошибку, имеются все основания говорить о нормальности распределения изделий.

Заключение

ч2-критерий указывает на хорошее согласие (табл. 12), но выборка только одна и необходимо проявить известную осторожность при заключении об удовлетворительности согласия.

Визуальный анализ (см. рис. Г) не показывает существенного расхождения между нормальной кривой и гистограммой.

В целом нет оснований отбрасывать гипотезу о нормальном распределении в пользу какой-то иной теоретической модели, то есть, нет сомнений в правильности хода производственного процесса.

Перечень ссылок

1.

Введение

в теорию алгоритмов [Электронный ресурс]. — Электронные текстовые данные. — Режим доступа: http://th-algoritmov.narod.ru/1.htm

2. Алферова З. В. Теория алгоритмов. — М.: Издательство «Статистика», 2010. — 164 с.

3. Марков А. А. Теория алгоритмов./ А. А. Марков, Н. М. Нагорный — М.: Наука, 2014. -217 с.: ил.

Приложения Приложение 1. Таблица десятичных логарифмов По определению логарифмом данного числа называют показатель степени, в которую надо возвести некоторое постоянное число (называемое основанием), чтобы получить данное число (называемое антилогарифмом). Так, например, 102=100, и мы можем написать, что log10100 = lg100 = 2 (логарифм числа 100 при основании 10 равен 2). В этом примере 10 является основанием, 2 — логарифмом (числа 100), а 100 является антилогарифмом (числа 2).

Каждый логарифм состоит из целого числа, называемого характеристикой, и десятичной дроби, называемой мантиссой. Когда в lgn антилогарифм n? 1, характеристика положительна и численно равна числу знаков, стоящих слева от запятой, минус единица. Таким образом, логарифм числа 24 равен 1,38 021.

Приложение 2

Таблицы функции нормального распределения В таблице 2.1 указаны значения е-z, необходимые для вычисления ординат кривой f (z).

В таблице 2.2 указаны ординаты нормальных кривых для фиксированных значений z.

В таблице 2.3 приведены величины площадей, заключённых между средним и заданным значением Х (или между 0 и заданным значением z)

.

На приведённом ниже рисунке F (z) изображена в виде заштрихованной площади.

Таблица 2.1. Величины е-z

Таблица 2.2

Ординаты нормальных кривых для фиксированных значений z