Как найти среднее квадратичное отклонение нормального распределения

Среднеквадрати́ческое отклонение (среднеквадрати́чное отклонение, стандартное отклонение[1]) — наиболее распространённый показатель рассеивания значений случайной величины относительно её математического ожидания (аналога среднего арифметического с бесконечным числом исходов). Обычно означает квадратный корень из дисперсии случайной величины, но иногда может означать тот или иной вариант оценки этого значения.

В литературе обычно обозначают греческой буквой sigma (сигма). В статистике принято два обозначения: sigma  — для генеральной совокупности и {displaystyle sd} (с англ. standard deviation — стандартное отклонение) — для выборки.

Варианты определения[править | править код]

Обычно определяется как квадратный корень из дисперсии случайной величины: {displaystyle sigma ={sqrt {D[X]}}}. Измеряется в единицах измерения самой случайной величины и используется при расчёте стандартной ошибки среднего арифметического, при построении доверительных интервалов, при статистической проверке гипотез, при измерении линейной взаимосвязи между случайными величинами.

На практике, когда вместо точного распределения случайной величины в распоряжении имеется лишь выборка, стандартное отклонение, как и математическое ожидание, оценивают (выборочная дисперсия), и делать это можно разными способами. Термины «стандартное отклонение» и «среднеквадратическое отклонение» обычно применяют к квадратному корню из дисперсии случайной величины (определённому через её истинное распределение), но иногда и к различным вариантам оценки этой величины на основании выборки.

В частности, если x_{i} — i-й элемент выборки, n — объём выборки, {bar {x}} — среднее арифметическое выборки (выборочное среднее — оценка математического ожидания величины):

{displaystyle {bar {x}}={frac {1}{n}}sum _{i=1}^{n}x_{i}={frac {1}{n}}(x_{1}+ldots +x_{n})},

то два основных способа оценки стандартного отклонения записываются нижеследующим образом.

Оценка стандартного отклонения на основании смещённой оценки дисперсии (иногда называемой просто выборочной дисперсией[2]):

{displaystyle S={sqrt {{frac {1}{n}}sum _{i=1}^{n}left(x_{i}-{bar {x}}right)^{2}}}}.

Это в буквальном смысле среднее квадратическое разностей измеренных значений и среднего.

Оценка стандартного отклонения на основании несмещённой оценки дисперсии (подправленной выборочной дисперсии[2], в ГОСТ Р 8.736-2011 — «среднее квадратическое отклонение»):

{displaystyle S_{0}={sqrt {{frac {n}{n-1}}S^{2}}}={sqrt {{frac {1}{n-1}}sum _{i=1}^{n}left(x_{i}-{bar {x}}right)^{2}}}.}

Само по себе, однако, S_{0} не является несмещённой оценкой квадратного корня из дисперсии, то есть извлечение квадратного корня «портит» несмещённость.

Обе оценки являются состоятельными[2].

Кроме того, среднеквадратическим отклонением называют математическое ожидание квадрата разности истинного значения случайной величины и её оценки для некоторого метода оценки[3]. Если оценка несмещённая (выборочное среднее — как раз несмещённая оценка для случайной величины), то эта величина равна дисперсии этой оценки.

Среднее значение выборки также является случайной величиной с оценкой среднеквадратичного отклонения[3][]:

{displaystyle S_{bar {x}}=S_{0}/{sqrt {n}}={sqrt {{frac {1}{n(n-1)}}sum _{i=1}^{n}left(x_{i}-{bar {x}}right)^{2}}}.}

Правило трёх сигм[править | править код]

Правило трёх сигм ({displaystyle 3sigma }) гласит: вероятность того, что любая случайная величина отклонится от своего среднего значения менее чем на {displaystyle 3sigma }:

{displaystyle P(|xi -Exi mid <3sigma )geqslant {frac {8}{9}}}.

Практически все значения нормально распределённой случайной величины лежат в интервале {displaystyle left(mu -3sigma ;mu +3sigma right)}, где {displaystyle mu =Exi } — математическое ожидание случайной величины. Более строго — приблизительно с вероятностью 0,9973 значение нормально распределённой случайной величины лежит в указанном интервале.

Интерпретация[править | править код]

Большее значение среднеквадратического отклонения показывает больший разброс значений в представленном множестве со средней величиной множества; меньшее значение, соответственно, показывает, что значения в множестве сгруппированы вокруг среднего значения.

Например, для у всех трёх числовых множеств: {0, 0, 14, 14}, {0, 6, 8, 14} и {6, 6, 8, 8} средние значения равны 7, а среднеквадратические отклонения, соответственно, равны 7, 5 и 1. У последнего множества среднеквадратическое отклонение маленькое, так как значения в множестве сгруппированы вокруг среднего значения; у первого множества самое большое значение среднеквадратического отклонения — значения внутри множества сильно расходятся со средним значением.

В общем смысле среднеквадратическое отклонение можно считать мерой неопределённости. К примеру, в физике среднеквадратическое отклонение используется для определения погрешности серии последовательных измерений какой-либо величины. Это значение очень важно для определения правдоподобности изучаемого явления в сравнении с предсказанным теорией значением: если среднее значение измерений сильно отличается от предсказанных теорией значений (большое значение среднеквадратического отклонения), то полученные значения или метод их получения следует перепроверить.

Практическое применение[править | править код]

На практике среднеквадратическое отклонение позволяет оценить, насколько значения из множества могут отличаться от среднего значения.

Экономика и финансы[править | править код]

Среднее квадратическое отклонение доходности портфеля sigma ={sqrt {D[X]}} отождествляется с риском портфеля.

В техническом анализе среднеквадратическое отклонение используется для построения линий Боллинджера, расчёта волатильности.

Оценка рисков и критика[править | править код]

Среднеквадратическое отклонение широко распространено в финансовой сфере в качестве критерия оценки инвестиционного риска. По мнению американского экономиста Нассима Талеба, этого делать не следует. Так, по теории около двух третей изменений должны укладываться в определённые рамки (среднеквадратические отклонения −1 и +1) и что колебания свыше семи стандартных отклонений практически невозможны. Однако в реальной жизни, по мнению Талеба, всё иначе — скачки отдельных показателей могут превышать 10, 20, а иногда и 30 стандартных отклонений. Талеб считает, что риск-менеджерам следует избегать использования средств и методов, связанных со стандартными отклонениями, таких как регрессионные модели, коэффициент детерминации (R-квадрат) и бета-факторы. Кроме того, по мнению Талеба, среднеквадратическое отклонение — слишком сложный для понимания метод. Он считает, что тот, кто пытается оценить риск с помощью единственного показателя, обречён на неудачу[4].

Климат[править | править код]

Предположим, существуют два города с одинаковой средней максимальной дневной температурой, но один расположен на побережье, а другой внутри континента. Известно, что в городах, расположенных на побережье, множество различных максимальных дневных температур меньше, чем у городов, расположенных внутри континента. Поэтому среднеквадратическое отклонение максимальных дневных температур у прибрежного города будет меньше, чем у второго города, несмотря на то, что среднее значение этой величины у них одинаковое, что на практике означает, что вероятность того, что максимальная температура воздуха каждого конкретного дня в году будет сильнее отличаться от среднего значения, выше у города, расположенного внутри континента.

Спорт[править | править код]

Предположим, что есть несколько футбольных команд, которые оцениваются по некоторому набору параметров, например, количеству забитых и пропущенных голов, голевых моментов и т. п. Наиболее вероятно, что лучшая в этой группе команда будет иметь лучшие значения по большему количеству параметров. Чем меньше у команды среднеквадратическое отклонение по каждому из представленных параметров, тем предсказуемее является результат команды, такие команды являются сбалансированными. С другой стороны, у команды с большим значением среднеквадратического отклонения сложно предсказать результат, что в свою очередь объясняется дисбалансом, например, сильной защитой, но слабым нападением.

Использование среднеквадратического отклонения параметров команды позволяет в той или иной мере предсказать результат матча двух команд, оценивая сильные и слабые стороны команд, а значит, и выбираемых способов борьбы.

Пример[править | править код]

Предположим, что интересующая нас группа (генеральная совокупность) это класс из восьми учеников, которым выставляются оценки по 10-бальной системе. Так как мы оцениваем всю группу, а не её выборку, можно использовать стандартное отклонение на основании смещённой оценки дисперсии. Для этого берём квадратный корень из среднего арифметического квадратов отклонений величин от их среднего значения.

Пусть оценки учеников класса следующие:

{displaystyle 2, 4, 4, 4, 5, 5, 7, 9}.

Тогда средняя оценка равна:

{displaystyle mu ={frac {2+4+4+4+5+5+7+9}{8}}=5}.

Вычислим квадраты отклонений оценок учеников от их средней оценки:

{displaystyle {begin{array}{lll}(2-5)^{2}=(-3)^{2}=9&&(5-5)^{2}=0^{2}=0\(4-5)^{2}=(-1)^{2}=1&&(5-5)^{2}=0^{2}=0\(4-5)^{2}=(-1)^{2}=1&&(7-5)^{2}=2^{2}=4\(4-5)^{2}=(-1)^{2}=1&&(9-5)^{2}=4^{2}=16\end{array}}}

Среднее арифметическое этих значений называется дисперсией:

{displaystyle sigma ^{2}={frac {9+1+1+1+0+0+4+16}{8}}=4}

Стандартное отклонение равно квадратному корню дисперсии:

{displaystyle sigma ={sqrt {4}}=2}

Эта формула справедлива только если эти восемь значений и являются генеральной совокупностью. Если бы эти данные были случайной выборкой из какой-то большой совокупности (например, оценки восьми случайно выбранных учеников большого города), то в знаменателе формулы для вычисления дисперсии вместо n = 8 нужно было бы поставить n − 1 = 7:

{displaystyle sigma ^{2}={frac {9+1+1+1+0+0+4+16}{7}}approx 4{,}57}

и стандартное отклонение равнялось бы:

{displaystyle sigma ={sqrt {4{,}57}}approx 2{,}14}

Этот результат называется стандартным отклонением на основании несмещённой оценки дисперсии. Деление на n − 1 вместо n даёт неискажённую оценку дисперсии для больших генеральных совокупностей.

Примечания[править | править код]

  1. Встречаются также различные синонимы: среднее квадратическое отклонение, стандартный разброс, стандартная неопределённость; термин «среднее квадратическое» означает «среднее степени 2»
  2. 1 2 3 Ивченко Г. И., Медведев Ю. И. Введение в математическую статистику. — М. : Издательство ЛКИ, 2010. — §2.2. Выборочные моменты: точная и асимптотическая теория. — ISBN 978-5-382-01013-7.
  3. 1 2 C. Patrignani et al. (Particle Data Group). 39. STATISTICS. — В: Review of Particle Physics // Chin. Phys. C. — 2016. — Vol. 40. — P. 100001. — doi:10.1088/1674-1137/40/10/100001.
  4. Талеб, Гольдштейн, Шпицнагель, 2022, с. 46.

Литература[править | править код]

  • Боровиков В. STATISTICA. Искусство анализа данных на компьютере: Для профессионалов / В. Боровиков. — СПб.: Питер, 2003. — 688 с. — ISBN 5-272-00078-1..
  • Нассим Талеб, Дениэл Гольдштейн, Марк Шпицнагель. Шесть ошибок руководителей компаний при управлении рисками // Управление рисками (Серия «Harvard Business Review: 10 лучших статей») = On Managing Risk / Коллектив авторов. — М.: Альпина Паблишер, 2022. — С. 41—50. — 206 с. — ISBN 978-5-9614-8186-0.

Стандартное отклонение (англ. Standard Deviation) — простыми словами это мера того, насколько разбросан набор данных.

Вычисляя его, можно узнать, являются ли числа близкими к среднему значению или далеки от него. Если точки данных находятся далеко от среднего значения, то в наборе данных имеется большое отклонение; таким образом, чем больше разброс данных, тем выше стандартное отклонение.

Стандартное отклонение обозначается буквой σ (греческая буква сигма).

Стандартное отклонение также называется:

  • среднеквадратическое отклонение,
  • среднее квадратическое отклонение,
  • среднеквадратичное отклонение,
  • квадратичное отклонение,
  • стандартный разброс.

Использование и интерпретация величины среднеквадратического отклонения

Стандартное отклонение используется:

  • в финансах в качестве меры волатильности,
  • в социологии в опросах общественного мнения — оно помогает в расчёте погрешности.

Пример:

Рассмотрим два малых предприятия, у нас есть данные о запасе какого-то товара на их складах.

День 1 День 2 День 3 День 4
Пред.А 19 21 19 21
Пред.Б 15 26 15 24

В обеих компаниях среднее количество товара составляет 20 единиц:

  • А -> (19 + 21 + 19+ 21) / 4 = 20
  • Б -> (15 + 26 + 15+ 24) / 4 = 20

Однако, глядя на цифры, можно заметить:

  • в компании A количество товара всех четырёх дней очень близко находится к этому среднему значению 20 (колеблется лишь между 19 ед. и 21 ед.),
  • в компании Б существует большая разница со средним количеством товара (колеблется между 15 ед. и 26 ед.).

Если рассчитать стандартное отклонение каждой компании, оно покажет, что

  • стандартное отклонение компании A = 1,
  • стандартное отклонение компании Б ≈ 5.

Стандартное отклонение показывает эту волатильность данных — то, с каким размахом они меняются; т.е. как сильно этот запас товара на складах компаний колеблется (поднимается и опускается).

Расчет среднеквадратичного (стандартного) отклонения

Формулы вычисления стандартного отклонения

Формулы вычисления стандартного отклонения sigma сигма стандартное отклонение формула, среднее квадратичное отклонение формула, среднеквадратическое отклонение формула, среднее квадратическое отклонение формула
Где:
σ — стандартное отклонение,
xi — величина отдельного значения выборки,
μ — среднее арифметическое выборки,
n — размер выборки.
Эта формула применяется, когда анализируются все значения выборки.
стандартное отклонение формула, среднее квадратичное отклонение формула, среднеквадратическое отклонение формула, среднее квадратическое отклонение формула
Где:
S — стандартное отклонение,
n — размер выборки,
xi — величина отдельного значения выборки,
xср — среднее арифметическое выборки.
Эта формула применяется, когда присутствует очень большой размер выборки, поэтому на анализ обычно берётся только её часть.
Единственная разница с предыдущей формулой: “n — 1” вместо “n”, и обозначение “xср” вместо “μ”.

Разница между формулами S и σ (“n” и “n–1”)

Состоит в том, что мы анализируем — всю выборку или только её часть:

  • только её часть – используется формула S (с “n–1”),
  • полностью все данные – используется формула σ (с “n”).

Как рассчитать стандартное отклонение?

Пример 1 (с σ)

Рассмотрим данные о запасе какого-то товара на складах Предприятия Б.

День 1 День 2 День 3 День 4
Пред.Б 15 26 15 24

Если значений выборки немного (небольшое n, здесь он равен 4) и анализируются все значения, то применяется эта формула:

Формулы вычисления стандартного отклонения sigma сигма стандартное отклонение формула, среднее квадратичное отклонение формула, среднеквадратическое отклонение формула, среднее квадратическое отклонение формула

Применяем эти шаги:

1. Найти среднее арифметическое выборки:

μ = (15 + 26 + 15+ 24) / 4 = 20

2. От каждого значения выборки отнять среднее арифметическое:

x1 – μ = 15 – 20 = -5

x2 – μ = 26 – 20 = 6

x3 – μ = 15 – 20 = -5

x4 – μ = 24 – 20 = 4

3. Каждую полученную разницу возвести в квадрат:

(x1 – μ)² = (-5)² = 25

(x2 – μ)² = 6² = 36

(x3 – μ)² = (-5)² = 25

(x4 – μ)² = 4² = 16

4. Сделать сумму полученных значений:

Σ (xi – μ)² = 25 + 36+ 25+ 16 = 102

5. Поделить на размер выборки (т.е. на n):

(Σ (xi – μ)²)/n = 102 / 4 = 25,5

6. Найти квадратный корень:

√((Σ (xi – μ)²)/n) = √ 25,5 ≈ 5,0498

Пример 2 (с S)

Задача усложняется, когда существуют сотни, тысячи или даже миллионы данных. В этом случае берётся только часть этих данных и анализируется методом выборки.

У Андрея 20 яблонь, но он посчитал яблоки только на 6 из них.

Популяция — это все 20 яблонь, а выборка — 6 яблонь, это деревья, которые Андрей посчитал.

Яблоня 1 Яблоня 2 Яблоня 3 Яблоня 4 Яблоня 5 Яблоня 6
9 2 5 4 12 7

Так как мы используем только выборку в качестве оценки всей популяции, то нужно применить эту формулу:

стандартное отклонение формула, среднее квадратичное отклонение формула, среднеквадратическое отклонение формула, среднее квадратическое отклонение формула

Математически она отличается от предыдущей формулы только тем, что от n нужно будет вычесть 1. Формально нужно будет также вместо μ (среднее арифметическое) написать X ср.

Применяем практически те же шаги:

1. Найти среднее арифметическое выборки:

Xср = (9 + 2 + 5 + 4 + 12 + 7) / 6 = 39 / 6 = 6,5

2. От каждого значения выборки отнять среднее арифметическое:

X1 – Xср = 9 – 6,5 = 2,5

X2 – Xср = 2 – 6,5 = –4,5

X3 – Xср = 5 – 6,5 = –1,5

X4 – Xср = 4 – 6,5 = –2,5

X5 – Xср = 12 – 6,5 = 5,5

X6 – Xср = 7 – 6,5 = 0,5

3. Каждую полученную разницу возвести в квадрат:

(X1 – Xср)² = (2,5)² = 6,25

(X2 – Xср)² = (–4,5)² = 20,25

(X3 – Xср)² = (–1,5)² = 2,25

(X4 – Xср)² = (–2,5)² = 6,25

(X5 – Xср)² = 5,5² = 30,25

(X6 – Xср)² = 0,5² = 0,25

4. Сделать сумму полученных значений:

Σ (Xi – Xср)² = 6,25 + 20,25+ 2,25+ 6,25 + 30,25 + 0,25 = 65,5

5. Поделить на размер выборки, вычитав перед этим 1 (т.е. на n–1):

(Σ (Xi – Xср)²)/(n-1) = 65,5 / (6 – 1) = 13,1

6. Найти квадратный корень:

S = √((Σ (Xi – Xср)²)/(n–1)) = √ 13,1 ≈ 3,6193

Дисперсия и стандартное отклонение

Стандартное отклонение равно квадратному корню из дисперсии (S = √D). То есть, если у вас уже есть стандартное отклонение и нужно рассчитать дисперсию, нужно лишь возвести стандартное отклонение в квадрат (S² = D).

Дисперсия — в статистике это “среднее квадратов отклонений от среднего”. Чтобы её вычислить нужно:

  1. Вычесть среднее значение из каждого числа
  2. Возвести каждый результат в квадрат (так получатся квадраты разностей)
  3. Найти среднее значение квадратов разностей.

Ещё расчёт дисперсии можно сделать по этой формуле:

Дисперсия и стандартное отклонение расчёт дисперсии формула
Где:
S² — выборочная дисперсия,
Xi — величина отдельного значения выборки,
Xср (может появляться как X̅) — среднее арифметическое выборки,
n — размер выборки.

Правило трёх сигм

Это правило гласит: вероятность того, что случайная величина отклонится от своего математического ожидания более чем на три стандартных отклонения (на три сигмы), почти равна нулю.

Правило трёх сигм

Глядя на рисунок нормального распределения случайной величины, можно понять, что в пределах:

  • одного среднеквадратического отклонения заключаются 68,26% значений (Xср ± 1σ или μ ± 1σ),
  • двух стандартных отклонений — 95,44% (Xср ± 2σ или μ ± 2σ),
  • трёх стандартных отклонений — 99,72% (Xср ± 3σ или μ ± 3σ).

Это означает, что за пределами остаются лишь 0,28% — это вероятность того, что случайная величина примет значение, которое отклоняется от среднего более чем на 3 сигмы.

Стандартное отклонение в excel

Вычисление стандартного отклонения с “n – 1” в знаменателе (случай выборки из генеральной совокупности):

1. Занесите все данные в документ Excel.

Формулы вычисления стандартного отклонения sigma сигма стандартное отклонение в эксель excel

2. Выберите поле, в котором вы хотите отобразить результат.

3. Введите в этом поле “=СТАНДОТКЛОНА(“

4. Выделите поля, где находятся данные, потом закройте скобки.

Формулы вычисления стандартного отклонения sigma сигма стандартное отклонение в эксель excel

5. Нажмите Ввод (Enter).

Формулы вычисления стандартного отклонения sigma сигма стандартное отклонение в эксель excel

В случае если данные представляют всю генеральную совокупность (n в знаменателе), то нужно использовать функцию СТАНДОТКЛОНПА.

Формулы вычисления стандартного отклонения sigma сигма стандартное отклонение в эксель excel

Формулы вычисления стандартного отклонения sigma сигма стандартное отклонение в эксель excel

Коэффициент вариации

Коэффициент вариации — отношение стандартного отклонения к среднему значению, т.е. Cv = (S/μ) × 100% или V = (σ/X̅) × 100%.

Стандартное отклонение делится на среднее и умножается на 100%.

Можно классифицировать вариабельность выборки по коэффициенту вариации:

  • при <10% выборка слабо вариабельна,
  • при 10% – 20 % — средне вариабельна,
  • при >20 % — выборка сильно вариабельна.

Узнайте также про:

  • Корреляции,
  • Метод Крамера,
  • Метод наименьших квадратов,
  • Теорию вероятностей
  • Интегралы.

Нормальное распределение

Обычно в правильно
отобранной выборке результаты тестирования
имеют так называемое нормальноераспределение, т.е. большинство вариант
незначительно отличаются по своей
величине от средней арифметической, и
чем больше отклонение варианты от
средних значений, тем реже она встречается.

Однако, как
показывает практика научных исследований
в физической культуре и спорте, очень
часто встречаются и так называемые
асимметричные распределения, когда
большинство вариант группируются ближе
к левому или правому краю распределения.
В этих случаях медиана или мода также
будут более полно отражать присущие им
закономерности, а по различиям между
медианой и средней арифметической в
определенной мере можно судить о величине
и характере асимметрии. Более подробно
об асимметричности распределения
вариант в выборке можно прочитать ниже
(в разделе среднее квадратическое
отклонение).

Вычисление средних
величин (средняя арифметическая, медиана,
мода) еще не полностью характеризуют
изучаемую группу испытуемых. Так,
например, при тестировании двух 10-х
классов одной школы по времени удержания
угла в упоре на брусьях были получены
одинаковые средние результаты

Однако в первой
группе результаты колебались в пределах
от 12 до 17 сек., а в другой – от 3 до 28 сек.
Вполне естественно предположить, что
первая группа более однородна по своей
подготовке, а во второй группе имеется
значительное число лиц слабо тренированных
в данном упражнении. Средние результаты
в данном случае маскируют качество
проведенной работы, не показывают
разнообразия результатов, которое
присущи анализируемой совокупности.
Таким образом, при «уплотнении»
протестированных результатов на уровне
средней арифметической часть информации
о совокупности как бы теряется. А так
как эта информация имеет существенное
значение для правильного понимания и
анализа полученных данных то, кроме
средних величин, для полной характеристики
совокупности необходимо использовать
и показатели разнообразияполученных
результатов. Таких показателей может
быть несколько.

Показатели разнообразия изучаемого признака

Размах. Одним
из наиболее простых показателей
разнообразия изучаемого признака
являетсяразмахего значений, т.е.
разница между минимальным (min)и максимальным (max) значением
результатов тестирования.
Обозначим размах через Н.
Тогда можно записать

H = Xmax
– Xmin
.

Так, например, для
результатов, приведенных таблице 3,
размах (H) равен 14, так как 47-33=14. Для
первого ознакомления с изучаемым
признаком эти данные являются вполне
достаточным и представляют большой
интерес даже без вычисления других
показателей разнообразия.

Лимиты. Иногда
достаточно ограничиться информацией
об указании минимального и максимального
значения признака, и тогда этот показатель
носит названиелимиты(lim).
В приведенных выше примерах о параметрах
размаха для первой группыlim1=12–17
сек., а для второй группыlim2=3–28
сек.

Среднее квадратическое отклонение

Среднее
квадратическое отклонение
(иногда
назывется и стандартным отклонение)
часто обозначают греческой буква сигма
(δ), и название этой буквы перешло и на
сам показатель, так что среднее
квадратическое отклонение зачастую
называют просто «сигма».

Сигма вычисляется
по следующей формуле:

δ=. (2)

По формуле (2) для
вычисления среднего квадратического
отклонения необходимо последовательно
выполнить следующие вычисления:

  1. Найти среднюю
    арифметическую
    по
    уже известной нам формуле (1).

  2. Вычислить отклонение
    каждой варианты от средней арифметической
    и затем последовательно возвести все
    вычисленные отклонения в квадрат –
    .

  3. Просуммировать
    все квадраты отклонений каждой варианты
    от средней арифметической –
    .

  4. Разделить полученную
    сумму на число вариант без одной –
    .

  5. Извлечь из
    полученного результата квадратный
    корень.

Описанный алгоритм
вычислений несложен, но практика его
применения нуждается в некоторых
пояснениях:

 прежде всего
необходимо уточнить, почему для
характеристики вариативности выборки
берутся квадраты отклонений, а не просто
отклонения. Дело в том, что положительные
и отрицательные значения отклонений
взаимно компенсируются и их алгебраическая
сумма будет равна нулю. Избежать влияния
знаков можно путем возведения отклонений
в квадрат. Тогда все величины будут
иметь положительное значение и их сумма
не будет равна нулю.

 среднее
квадратическое отклонение величина
именованная и имеет ту же размерность,
что и изучаемый признак. Следовательно,
если величина средней арифметической
выражается в метрах, то и сигма будет
выражаться в метрах.

 среднее
квадратическое отклонение применяется
для характеристики распределений
вариант. При распределении близком к
нормальному в интервале
располагается,
как правило, 50% возможных значений
признака, в интервалерасполагается 68,3% вариант, а в интервале
95,5% и в интервале
99,7% вариант. Более наглядно эти данные
можно представить в табличном виде
(табл. 4).

Таблица 4.

Отклонение в

Число вариант
в

%

50%

66,3%

95,5%

99,7%

Таким образом,
максимальное и минимальное значения
признака практически не удаляются от
среднего значения больше, чем на 3.
Эти свойства сигмы (табл. 4) позволяют
использовать её для многих целей
статистической обработки экспериментальных
данных.

Практическое
вычисление среднего квадратического
отклонения для двух групп испытуемых,
проверявшихся в метании гранаты Ф-1 на
дальность, показано в таблице 5.

Таблица 5.

Первая

группа

Вторая

группа

50

+10

100

N=10

50

+10

100

N=10

43

+
3

9

49

+
9

81

41

+
1

1

46

+
6

36

40

0

0

44

+
4

16

40

0

0

Lim=3050

41

+
1

1

Lim=3050

40

0

0

39


1

1

40

0

0

 ==

36


4

16

 ==

38


2

4

==

34


6

36

==

38


2

4

=
4,92м

31


9

81

=
7,21м

30

-10

100

30

-10

100

xi
= 400

(xi
–x)=
0

(xi
–x)2=218

xi
= 400

(xi
–x)=
0

(xi
–x)2=
468

Из этого примера
видно, что одни только средние и лимиты
не дают полной характеристики показанных
результатов. Среднее квадратическое
отклонение полнее отражает величину
разнообразия значений изучаемого
признака: чем меньше сигма, тем более
однороден изучаемый материал.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #

В данной статье я расскажу о том, как найти среднеквадратическое отклонение. Этот материал крайне важен для полноценного понимания математики, поэтому репетитор по математике должен посвятить его изучению отдельный урок или даже несколько. В этой статье вы найдёте ссылку на подробный и понятный видеоурок, в котором рассказано о том, что такое среднеквадратическое отклонение и как его найти.

Среднеквадратическое отклонение дает возможность оценить разброс значений, полученных в результате измерения какого-то параметра. Обозначается символом sigma (греческая буква «сигма»).

Формула для расчета sigma довольно проста. Чтобы найти среднеквадратическое отклонение, нужно взять квадратный корень из дисперсии. Так что теперь вы должны спросить: “А что же такое дисперсия?”

Что такое дисперсия

Определение дисперсии звучит так. Дисперсия — это среднее арифметическое от квадратов отклонений значений от среднего.

Чтобы найти дисперсию последовательно проведите следующие вычисления:

  • Определите среднее (простое среднее арифметическое ряда значений).
  • Затем от каждого из значений отнимите среднее и возведите полученную разность в квадрат (получили квадрат разности).
  • Следующим шагом будет вычисление среднего арифметического полученных квадратов разностей (Почему именно квадратов вы сможете узнать ниже).

Рассмотрим на примере. Допустим, вы с друзьями решили измерить рост ваших собак (в миллиметрах). В результате измерений вы получили следующие данные измерений роста (в холке): 600 мм, 470 мм, 170 мм, 430 мм и 300 мм.

Порода собаки Рост в миллиметрах
Ротвейлер 600
Бульдог 470
Такса 170
Пудель 430
Мопс 300

Вычислим среднее значение, дисперсию и среднеквадратическое отклонение.

Сперва найдём среднее значение. Как вы уже знаете, для этого нужно сложить все измеренные значения и поделить на количество измерений. Ход вычислений:

Среднее  =frac{600+470+170+430+300}{5} = 394 мм.

Итак, среднее (среднеарифметическое) составляет 394 мм.

Теперь нужно определить отклонение роста каждой из собак от среднего:

    [ begin{array}{l} 1: 600-394 = 206 \ 2: 470-394 = 76 \ 3: 170-394 = -224\ 4: 430-394 = 36\ 5: 300-394 = -94 end{array} ]

Наконец, чтобы вычислить дисперсию, каждую из полученных разностей возводим в квадрат, а затем находим среднее арифметическое от полученных результатов:

Дисперсия = frac{206^2+76^2+(-224)^2+36^2+(-94)^2}{5} = 21704 мм2.

Таким образом, дисперсия составляет 21704 мм2.

Как найти среднеквадратическое отклонение

Так как же теперь вычислить среднеквадратическое отклонение, зная дисперсию? Как мы помним, взять из нее квадратный корень. То есть среднеквадратическое отклонение равно:

sigma = sqrt{21704} approx 147 мм (округлено до ближайшего целого значения в мм).

Применив данный метод, мы выяснили, что некоторые собаки (например, ротвейлеры) – очень большие собаки. Но есть и очень маленькие собаки (например, таксы, только говорить им этого не стоит).

Самое интересное, что среднеквадратическое отклонение несет в себе полезную информацию. Теперь мы можем показать, какие из полученных результатов измерения роста находятся в пределах интервала, который мы получим, если отложим от среднего (в обе стороны от него) среднеквадратическое отклонение.

То есть с помощью среднеквадратического отклонения мы получаем “стандартный” метод, который позволяет узнать, какое из значений является нормальным (среднестатистическим), а какое экстраординарно большим или, наоборот, малым.

Что такое стандартное отклонение

Но… все будет немного иначе, если мы будем анализировать выборку данных. В нашем примере мы рассматривали генеральную совокупность. То есть наши 5 собак были единственными в мире собаками, которые нас интересовали.

Но если данные являются выборкой (значениями, которые выбрали из большой генеральной совокупности), тогда вычисления нужно вести иначе.

Если есть N значений, то:

Все остальные расчеты производятся аналогично, в том числе и определение среднего.

Например, если наших пять собак – только выборка из генеральной совокупности собак (всех собак на планете), мы должны делить на 4, а не на 5, а именно:

Дисперсия выборки = frac{108520}{4}=27130 мм2.

При этом стандартное отклонение по выборке равно sqrt{27130} = 165 мм (округлено до ближайшего целого значения).

Можно сказать, что мы произвели некоторую “коррекцию” в случае, когда наши значения являются всего лишь небольшой выборкой.

Примечание. Почему именно квадраты разностей?

Но почему при вычислении дисперсии мы берём именно квадраты разностей? Допустим при измерении какого-то параметра, вы получили следующий набор значений: 4; 4; -4; -4. Если мы просто сложим абсолютные отклонения от среднего (разности) между собой … отрицательные значения взаимно уничтожатся с положительными:

frac{4+4-4-4}{4}=0.

Получается, этот вариант бесполезен. Тогда, может, стоит попробовать абсолютные значения отклонений (то есть модули этих значений)?

frac{4+4+|-4|+|-4|}{4} = frac{4+4+4+4}{4}=4.

На первый взгляд получается неплохо (полученная величина, кстати, называется средним абсолютным отклонением), но не во всех случаях. Попробуем другой пример. Пусть в результате измерения получился следующий набор значений: 7; 1; -6; -2. Тогда среднее абсолютное отклонение равно:

frac{7+1+|-6|+|-2|}{4} = frac{7+1+6+2}{4}=4.

Вот это да! Снова получили результат 4, хотя разности имеют гораздо больший разброс.

А теперь посмотрим, что получится, если возвести разности в квадрат (и взять потом квадратный корень из их суммы).

Для первого примера получится:

sqrt{frac{4^2+4^2+(-4)^2+(-4)^2}{4}}=4.

Для второго примера получится:

sqrt{frac{7^2+1^2+(-6)^2+(-2)^2}{4}}=4.74.

Теперь – совсем другое дело! Среднеквадратическое отклонение получается тем большим, чем больший разброс имеют разности … к чему мы и стремились.

Фактически в данном методе использована та же идея, что и при вычислении расстояния между точками, только примененная иным способом.

И с математической точки зрения использование квадратов и квадратных корней дает больше пользы, чем мы могли бы получить на основании абсолютных значений отклонений, благодаря чему среднеквадратическое отклонение применимо и для других математических задач.

О том, как найти среднеквадратическое отклонение, вам рассказал репетитор по математике в Москве, Сергей Валерьевич

Нормальное распределение

Время на прочтение
7 мин

Количество просмотров 35K

Автор статьи: Виктория Ляликова

Нормальный закон распределения или закон Гаусса играет важную роль в статистике и занимает особое положение среди других законов. Вспомним как выглядит нормальное распределение

frac{1}{sigmasqrt{2pi}}e^left(-frac{(x-a)^2)}{2sigma^2}right)

где a -математическое ожидание, sigma – среднее квадратическое отклонение.

Тестирование данных на нормальность является достаточно частым этапом первичного анализа данных, так как большое количество статистических методов использует тот факт, что данные распределены нормально. Если выборка не подчиняется нормальному закону, тогда предположении о параметрических статистических тестах нарушаются, и должны использоваться непараметрические методы статистики

Нормальное распределение естественным образом возникает практически везде, где речь идет об измерении с ошибками. Например, координаты точки попадания снаряда, рост, вес человека имеют нормальный закон распределения. Более того, центральная предельная теорема вообще утверждает, что сумма большого числа слагаемых сходится к нормальной случайной величине, не зависимо от того, какое было исходное распределение у выборки. Таким образом, данная теорема устанавливает условия, при которых возникает нормальное распределение и нарушение которых ведет к распределению, отличному от нормального.

Можно выделить следующие этапы проверки выборочных значений на нормальность

  • Подсчет основных характеристик выборки. Выборочное среднее, медиана, коэффициенты асимметрии и эксцесса.

  • Графический. К этому методу относится построение гистограммы и график квантиль-квантиль или кратко QQ

  • Статистические методы. Данные методы вычисляют статистику по данным и определяют, какая вероятность того, что данные получены из нормального распределения

При нормальном распределении, которое симметрично, значения медианы и выборочного среднего будут одинаковы, значения эксцесса равно 3, а асимметрии равно нулю. Однако ситуация, когда все указанные выборочные характеристики равны именно таким значениям, практически не встречается. Поэтому после этапа подсчета выборочных характеристик можно переходить к графическому представлению выборочных данных.

Гистограмма позволяет представить выборочные данные в графическом виде – в виде столбчатой диаграммы, где данные делятся на заранее определенное количество групп. Вид гистограммы дает наглядное представление функции плотности вероятности некоторой случайной величины, построенной по выборке.

 График QQ (квантиль-квантиль) является графиком вероятностей, который представляет собой графический метод сравнения двух распределений путем построения их квантилей. QQ график сравнивает наборы данных теоретических и выборочных (эмпирических) распределений. Если два сравниваемых распределения подобны, тогда точки на графике QQ будут приблизительно лежать на линии y=x. Основным шагом в построении графика QQ является расчет или оценка квантилей.

Существует множество статистических тестов, которые можно использовать для проверки выборочных значений на нормальность. Каждый тест использует разные предположения и рассматривает разные аспекты данных.

Чтобы применять статистические критерии сформулируем задачу. Выдвигаются две гипотезы H0 и H1, которые утверждают 

H0 – Выборка подчиняется нормальному закону распределения

H1 – Выборка не подчиняется нормальному распределению

Установи уровень значимости alpha=0,05.

Теперь задача состоит в том, чтобы на основании какого-то критерия отвергнуть или принять основную нулевую гипотезу при уровне значимости

Критерий Шапиро-Уилка

Критерий Шапиро-Уилка основан на отношении оптимальной линейной несмещенной оценки дисперсии к ее обычной оценке методом максимального правдоподобия. Статистика критерия имеет вид

W=frac{1}{s^2}{sumlimits_{i=1}^n{a_{n-i+1}(x_{n-i+1}-x_{i})}} s^2=sumlimits_{i=1}^n(x_i-overline x^2) overline x=frac{1}{n}sumlimits_{i=1}^n{x}

Числитель является квадратом оценки среднеквадратического отклонения Ллойда. Коэффициенты  {a_{n-i+1}} и критические {W(alpha)} значения статистики являются табулированными значениями.  Если W<{W({alpha})}, то нулевая гипотеза нормальности распределения отклоняется на уровне значимости alpha.

В Python функция shapiro() содержится в библиотеке scipy.stats и возвращает как статистику, рассчитанную тестом, так и значение p. В Python можно использовать выборку до 5000 элементов. Интерпретация вывода осуществляется следующим образом

Если значение p-value>alpha, тогда принимается гипотеза H0, в противном случае, т.е. если, p-value<alpha, тогда принимается гипотеза H1, т.е. что выборка не подчиняется нормальному закону.

Критерий Д’Агостино

В данном критерии в качестве статистики для проверки нормальности распределения используется отношение оценки Даутона для стандартного отклонения к выборочному стандартному отклонению, оцененному методом максимального правдоподобия 

D=frac{T}{n^2s}  T=sumlimits_{i=1}^nbigg(i-frac{n+1}{2}bigg)x_i  s^2=sumlimits_{i=1}^n(x_i-overline x^2),   {x_1}leq...leq{x_n}

В качестве статистики критерия Д’Агостино используется величина

Y=sqrt{n}frac{(D-0,28209479)}{0,02998598}

значение которой рассчитывается на основе центральной предельной теоремы, которая утверждает, что при nlongrightarrow{infty}

limlimits_{x to infty}Pbigg(frac{D-M[D]}{sqrt{D[D]}}{<x}bigg)=Phi(x)

где Phi(x)стандартная нормальная случайная величина.

Критические значения являются табулированными значениями. Гипотеза нормальности принимается, если значение статистики лежит в интервале критических значений. Данный критерий показывает хорошую мощность против большого спектра альтернатив, по мощности немного уступая критерию Шапиро-Уилка.

В Python функция normaltest() также содержится в библиотеке scipy.stats и возвращает статистику теста и значение p. Интерпретация результата аналогична результатам в критерии Шапиро-Уилка.

Критерий согласия chi^2– Пирсона

Данный критерий является одним из наиболее распространенных критериев проверки гипотез о виде закона распределения и позволяет проверить значимость расхождения эмпирических (наблюдаемых) и теоретических (ожидаемых) частот. Таким образом, данный критерий позволяет проверить гипотезу о принадлежности наблюдаемой выборки некоторому теоретическому закону. Можно сказать, что критерий является универсальным, так как позволяет проверить принадлежность выборочных значений практическому любому закону распределения.

Для решения задачи используется статистика chi^2 – Пирсона

          G=sumlimits_{k=1}^mfrac{(v_k-np_k)^2}{np_k}

где nu_k – эмпирические частоты (подсчитывается число элементов выборки, попавших в интервал), {np_k} – теоретические частоты. Подсчитывается критическое значение chi^2_{кр}. Если Ggeq chi^2_{кр}, отклоняется гипотеза  о принадлежности выборки нормальному распределению и принимается, если G< chi^2_{кр}.

Теперь перейдем к практической части. Для демонстрации функций будем использовать Dataset, взятый с сайта kaggle.com по прогнозированию инсульта по 11 клиническим характеристикам.

Загружаем необходимые библиотеки

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

 Загружаем датасет

data_healthcares = pd.read_csv('E:/vika/healthcare-dataset-stroke-data.csv')

Набор состоит из 5110 строк и 12 столбцов.

Посмотрим на основные характеристики, каждого признака.
data_healthcares.describe()

Из данных характеристик можно увидеть, что есть пропущенные значения в показателях индекс массы тела. Посчитаем количество пропущенных значений.

Если бы нам необходимо было делать модель для прогноза, то пропущенные значения bmi являются достаточно большой проблемой, в которой возникает вопрос как их восстановить. Поэтому будем предполагать, что значения столбца bmi (индекс массы тела) подчиняются нормальному закону распределения (предварительно был построен график распределения, поэтому сделано такое предположение). Но так как, на данный момент, у нас нет необходимости в построении модели для прогноза, то удалим все пропущенные значения

new_data=data_healthcares.dropna()

Теперь можем приступать к проверке выборочных значений показателя bmi на нормальность. Вычислим основные выборочные характеристики

Выборочная характеристика

Код в python

Значение характеристики

Выборочное среднее

new_data.bmi.mean()

28,89

Выборочная медиана

new_data.bmi.median()

28,1

Выборочная мода

new_data.bmi.mode()

28,7

Выборочное среднеквадратическое отклонение

new_data.bmi.std()

7.854066729680458

Выборочный коэффициент асиметрии

new_data.bmi.skew()

1.0553402052962928

Выборочный эксцесс

new_data.bmi.kurtosis()

3.362659165623678

После вычислений основных характеристик мы видим, что выборочное среднее и медиана можно сказать принимают одинаковые значения и коэффициент эксцесса равен 3. Но, к сожалению коэффициент асимметрии равен 1, что вводить нас в некоторое замешательство, т.е. мы уже можем предположить, что значения bmi не подчиняются нормальному закону. Продолжим исследования, перейдем к построению графиков.

Строим гистограмму

fig = plt.figure
fig,ax= plt.subplots(figsize=(7,7))
sns.distplot(new_data.bmi,color='red',label='bmi',ax=ax)
plt.show()

Гистограмма достаточно хорошо напоминает нормальное распределение, кроме конечно, небольшого выброса справа, но смотрим дальше. Тут скорее, можно предположить, что значения bmi подчиняются распределению  chi^2.

Строим QQ график. В python есть отличная функция qqplot(), содержащаяся в библиотеке statsmodel, которая позволяет строить как раз такие графики.

from statsmodels.graphics.gofplots import qqplot
from matplotlib import pyplot
qqplot(new_data.bmi, line=’s’)
Pyplot.show

Что имеем из графика QQ? Наши выборочные значений имеют хвосты слева и справа, и также в правом верхнем углу значения становятся разреженными. 

 На основе данных графика можно сделать вывод, что значения bmi не подчиняются нормальному закону распределения. Рядом приведен пример QQ графика распределения хи-квадрат с 8 степенями свободы из выборки в 1000 значений.

Для примера построим график QQ для выборки из нормального распределения с такими же показателями стандартного отклонения и среднего, как у bmi.

std=new_data.bmi.std() # вычисляем отклонение
mean=new_data.bmi.mean() #вычисляем среднее
Z=np.random.randn(4909)*std+mean # моделируем нормальное распределение
qqplot(Z,line='s') # строим график
pyplot.show()

Продолжим исследования. Перейдем к статистическим критериям. Будем использовать критерий Шапиро-Уилка и Д’Агостино, чтобы окончательно принять или опровергнуть предположение о нормальном распределении. Для использования критериев подключим библиотеки

from scipy.stats import shapiro
from scipy.stats import normaltest
shapiro(new_data.bmi)
ShapiroResult(statistic=0.9535483717918396, pvalue=6.623218133972133e-37)
Normaltest(new_data.bmi)
NormaltestResult(statistic=1021.1795052962864, pvalue=1.793444363882936e-222)

После применения двух тестов мы имеем, что значение p-value намного меньше заданного критического значения alpha , значит выборочные значения не принадлежат нормальному закону.

Конечно, мы рассмотрели не все тесты на нормальности, которые существуют. Какие можно дать рекомендации по проверке выборочных значений на нормальность. Лучше использовать все возможные варианты, если они уместны.

На этом все. Еще хочу порекомендовать бесплатный вебинар, который 15 июня пройдет на платформе OTUS в рамках запуска курса Математика для Data Science. На вебинаре расскажут про несколько часто используемых подходов в анализе данных, а также разберут, какие математические идеи работают у них под капотом и почему эти подходы вообще работают так, как нам нужно. Регистрация на вебинар доступна по этой ссылке.

Добавить комментарий