Квантиль это как найти

Кванти́ль в математической статистике — значение, которое заданная случайная величина не превышает с фиксированной вероятностью. Если вероятность задана в процентах, то квантиль называется процентилем или перцентилем (см. ниже).

Например, фраза «90-й процентиль массы тела у новорожденных мальчиков составляет 4 кг»[1] означает, что 90 % мальчиков рождаются с весом, меньшим либо равным 4 кг, а 10 % мальчиков рождаются с весом, большим либо равным 4 кг.

Определение[править | править код]

Рассмотрим вероятностное пространство (Omega ,;{mathcal {F}},;mathbb {P} ) и mathbb {P} ^{X} — вероятностная мера, задающая распределение некоторой случайной величины X. Пусть фиксировано alpha in (0,;1). Тогда alpha -квантилем (или квантилем уровня alpha ) распределения mathbb {P} ^{X} называется число x_{alpha }in mathbb{R} , такое что

{displaystyle mathbb {P} (Xleqslant x_{alpha })leqslant alpha } ,
{displaystyle mathbb {P} (Xgeqslant x_{alpha })geqslant 1-alpha .}

В некоторых источниках (например, в англоязычной литературе) kq-квантилем называется квантиль уровня k/q, то есть (k/q)-квантиль в предыдущих обозначениях.

Замечания[править | править код]

  • Если распределение непрерывно, то alpha -квантиль однозначно задаётся уравнением
F_{X}(x_{alpha })=alpha ,

где F_{X} — функция распределения mathbb {P} ^{X}.

  • Очевидно, для непрерывных распределений справедливо следующее широко использующееся при построении доверительных интервалов равенство:
{mathbb  {P}}left(x_{{{frac  {1-alpha }{2}}}}leqslant Xleqslant x_{{{frac  {1+alpha }{2}}}}right)=alpha .
  • Для эмпирического распределения alpha -квантиль можно задать следующим способом:
  1. составляем вариационный ряд значений V_{0}leqslant V_{1}leqslant dots leqslant V_{{N-1}} (выборка имеет объём N), а также считаем, что V_{N}=V_{{N-1}} (это необходимо при вычислении 100 % квантили по приводимым ниже формулам);
  2. находим величину K=lfloor alpha cdot (N-1)rfloor ;
  3. сравниваем K и alpha cdot N:
a) если K+1<alpha N, то полагаем x_{alpha }=V_{{K+1}};
б) если K+1=alpha N, то полагаем x_{{alpha }}=(V_{K}+V_{{K+1}})/2;
в) если K+1>alpha N, то полагаем x_{{alpha }}=V_{K}.

Заданный таким образом alpha -квантиль удовлетворяет приведенному выше определению.

В некоторых случаях (при большом объёме выборки и эмпирическом распределении, близком к непрерывному) вместо равенства K+1=alpha N можно использовать приближённое сравнение |K+1-alpha N|<1/N (это позволит, например, квантиль уровня 1/3 представлять как 0,33…333 при компьютерной обработке данных).

Медиана и квартили[править | править код]

Квантили нормального распределения

  • 0,25-квантиль называется первым (или нижним) кварти́лем (от лат. quarta — четверть);
  • 0,5-квантиль называется медианой (от лат. mediāna — середина) или вторым кварти́лем;
  • 0,75-квантиль называется третьим (или верхним) кварти́лем.

Интеркварти́льным размахом (англ. Interquartile range) называется разность между третьим и первым квартилями, то есть x_{{0{,}75}}-x_{{0{,}25}}. Интерквартильный размах является характеристикой разброса распределения величины и является робастным аналогом дисперсии. Вместе, медиана и интерквартильный размах могут быть использованы вместо математического ожидания и дисперсии в случае распределений с большими выбросами, либо при невозможности вычисления последних.

Дециль[править | править код]

Деци́ль характеризует распределение величин совокупности, при котором девять значений дециля делят её на десять равных частей. Любая из этих десяти частей составляет 1/10 всей совокупности. Так, первый дециль отделяет 10 % наименьших величин, лежащих ниже дециля, от 90 % наибольших величин, лежащих выше дециля.

Так же, как в случае моды и медианы, у интервального вариационного ряда распределения каждый дециль (и квартиль) принадлежит определённому интервалу и имеет вполне определённое значение[2].

Процентиль[править | править код]

pпроценти́лем называют квантиль уровня {displaystyle alpha =p/100}. Соответственно, медиана является 50-м процентилем, а первый и третий квартиль — 25-м и 75-м процентилями соответственно.

В целом, понятия квантиль и процентиль взаимозаменяемы, так же, как и шкалы исчисления вероятностей — абсолютная и процентная.

Процентили также называются перцентилями или центилями.

Квантили стандартного нормального распределения[править | править код]

Вероятность (уровень квантили), % 99,99 99,90 99,00 97,72 97,50 95,00 90,00 84,13 50,00
Квантиль (округлённый до тысячных) 3,719 3,090 2,326 1,999 1,960 1,645 1,282 1,000 0,500

См. также[править | править код]

  • Квантили нормального распределения
  • Квантили распределения Стьюдента
  • Квантили распределения хи-квадрат
  • Нормальное распределение
  • Доверительный интервал
  • Наукометрия

Примечания[править | править код]

  1. Руководство участкового педиатра. — ГЭОТАР-Медиа, 2008. — С. 44. — 354 с.
  2. Шмойлова Р. А., Минашкин В. Г., Садовникова Н. А. Практикум по теории статистики. — 3-е изд. — М.: Финансы и статистика, 2011. — С. 130—131. — 416 с. — ISBN 9785279032969..

Ссылки[править | править код]

В примерах в данной статье данные генерятся при каждой загрузке страницы. Если Вы хотите посмотреть пример с другими значениями –
обновите страницу .

Параметры дискретного закона распределения

Параметры дискретного закона распределения

В статье описано как найти среднее значение и стандартное отклонение. Вы узнаете, что такое квантиль и каких он бывает видов, а также,
как построить доверительный интервал.

Математическое описание

Смотря на закон распределения, мы можем понять, какова вероятность того или иного события,
можем сказать, какова вероятность, что произойдёт группа событий, а в этой статье мы рассмотрим, как наши выводы “на глаз” перевести
в математически обоснованное утверждение.


Крайне важное определение: математическое ожидание – это площадь под графиком распределения. Если мы говорим о дискретном распределении –
это сумма событий умноженных на соответсвующие вероятности, также известно как момент:

(2)  E(X) = Σ(pi•Xi) E – от английского слова Expected (ожидание)
Для математического ожидания справедливы равенства:

(3)  E(X + Y) = E(X) + E(Y)
(4)  E(X•Y) = E(X) • E(Y)

Момент степени k:

(5)  νk = E(Xk)

Центральный момент степени k:

(6)  μk = E[X – E(X)]k

Среднее значение

Среднее значение (μ) закона распределения – это математическое ожидание случайной величины
(случайная величина – это событие), например, сколько в среднем посетителей заходит в магазин в час:

Кол-во посетителей 0 1 2 3 4 5 6
Количество наблюдений 121 21 79 3 72 31 73
Таблица 1. Количество посетителей в час

График 1. Количество посетителей в час

Чтобы найти среднее значение всех результатов необходимо сложить всё вместе и разделить на количество результатов:

μ = (121 • 0 + 21 • 1 + 79 • 2 + 3 • 3 + 72 • 4 + 31 • 5 + 73 • 6) / 400 = 1069/400 = 2.67

То же самое мы можем проделать используя формулу 2:

μ = M(X) = Σ(Xi•pi) = 0 • 0.3 + 1 • 0.05 + 2 • 0.2 + 3 • 0.01 + 4 • 0.18 + 5 • 0.08 + 6 • 0.18 = 2.67 Момент первой степени, формула (5)

Собственно, формула 2 представляет собой среднее арифметическое всех значений
Итог: в среднем, 2.67 посетителя в час

Количество посетителей 0 1 2 3 4 5 6
Вероятность (%) 30.3 5.3 19.8 0.8 18 7.8 18.3
Таблица 2. Закон распределения количества посетителей

Отклонение от среднего

Посмотрите на это распределение, можно предположить, что в среднем случайная величина равна 100±5, поскольку
кажется, что таких значений несравнимо больше чем тех, что меньше 95 или больше 105:

График 2. График функции вероятности. Распределение ≈ 100±5

Среднее значение по формуле (2): μ = 99.95, но как посчитать, насколько далеко все значения находятся от среднего? Вам должна быть
знакома запись 100±5. Что бы получить это значение ±, нам необходимо определить диапазон значений вокруг среднего. И мы могли бы
использовать в качестве меры удалённости “разность” между средним и случайными величинами:

(7) xi – μ

но сумма таких расстояний, а следовательно и любое производное от этого числа, будет равно нулю, поэтому в качестве меры выбрали квадрат разниц
между величинами и средним значением:

(8) (xi – μ)2

Соответственно, среднее значение удалённости – это математическое ожидание квадратов удалённости:

(9) σ2 = E[(X – E(X))2]
Поскольку вероятности любой удалённости равносильны – вероятность каждого из них – 1/n, откуда:
(10) σ2 = E[(X – E(X))2] = ∑[(Xi – μ)2]/n
Она же формула центрального момента (6) второй степени

σ возведена в квадрат, поскольку вместо расстояний мы взяли квадрат расстояний. σ2 называется дисперсией. Корень из дисперсии
называется средним квадратическим отклонением, или среднеквадратическим отклоненим, и его используют в качестве меры разброса:

(11) μ±σ
(12) σ = √(σ2) = √[∑[(Xi – μ)2]/n]

Возвращаясь к примеру, посчитаем среднеквадратическое отклонение для графика 2:

σ = √(∑(x-μ)2/n) = √{[(90 – 99.95)2 + (91 – 99.95)2 + (92 – 99.95)2 + (93 – 99.95)2 + (94 – 99.95)2 + (95 – 99.95)2 + (96 – 99.95)2 + (97 – 99.95)2 + (98 – 99.95)2 + (99 – 99.95)2 + (100 – 99.95)2 + (101 – 99.95)2 + (102 – 99.95)2 + (103 – 99.95)2 + (104 – 99.95)2 + (105 – 99.95)2 + (106 – 99.95)2 + (107 – 99.95)2 + (108 – 99.95)2 + (109 – 99.95)2 + (110 – 99.95)2]/21} = 6.06

Итак, для графика 2 мы получили:

X = 99.95±6.06 ≈ 100±6 , что немного отличается от полученного “на глаз”

Квантиль

График 3. Функция распределения. Медиана

График 4. Функция распределения. 4-квантиль или квартиль

График 5. Функция распределения. 0.34-квантиль

Для анализа функции распределения ввели понятие квантиль. Квантиль – это случайная величина при заданном уровне вероятности, т.е.:
квантиль для уровня вероятности 50% – это случайная величина на графике плотности вероятности, которая имеет вероятность 50%.
На примере с графиком 3, квантиль уровня 0.5 = 99 (ближайшее значение, поскольку распределение дискретно и события со значением 99.3 просто не существует)

  • 2-квантиль – медиана
  • 4-квантиль – квартиль
  • 10-квантиль – дециль
  • 100-квантиль – перцентиль

То есть, если мы говорим о дециле (10-квантиле), то это означает, что мы разбили график на 10 частей, что соответствует девяти линяям,
и для каждого дециля нашли значение случайной величины.

Также, используется обозначение x-квантиль, где х – дробное число, например, 0.34-квантиль, такая запись означает значение случайной величины при
p = 0.34.

Для дискретного распределения квантиль необходимо выбирать следующим образом: квантиль гарантирует вероятность, поэтому, если рассчитанный
квантиль не совпадает с одним и значений, необходимо выбирать меньшее значение.

Построение интервалов

Квантили используют для построения доверительных интервалов, которые необходимы для исследования статистики не одного конкретного события (например,
интерес – случайное число = 98), а для группы событий (например, интерес – случайное число между 96 и 99). Доверительный интервал бывает двух видов:
односторонний и двусторонний. Параметр доверительного интервала – уровень доверия. Уровень доверия означает процент событий, которые можно считать успешными.

Двусторонний доверительный интервал

Двусторонний доверительный интервал строится следующим образом: мы задаёмся уровнем значимости, например, 10%, и выделяем область на графике так, что 90% всех
событий попадут в эту область. Поскольку интервал двусторонний, то мы отсекаем по 5% с каждой стороны, т.е. мы ищем 5й перцентиль, 95й перцентиль и значения
случайной величины между ними будут являться доверительной областью, значения за пределами доверительной области называются “критическая область

График 6. Плотность вероятности

График 7. Функция распределения с 5 и 95 перцентилями. Цветом выделен доверительный интервал с уровнем доверия 0.9

График 8. Функция вероятности и двусторонний доверительный интервал с уровнем доверия 90%

Доверительный интервал

Левосторонний и правосторонний доверительные интервалы строятся аналогично двустороннему: для левостороннего интервала мы находим перцентиль уровня
[‘один’ минус ‘уровень значимости’]. Таким образом, для построения доверительного левостороннего интервала уровня значимости 4% нам необходимо найти четвёртый перцентиль
и всё, что справа – доверительный интервал, всё что слева – критическая область.

График 9. Левосторонний доверительный интервал с уровнем значимости 4%. Заливкой выделен доверительный интервал

График 10. Правосторонний доверительный интервал с уровнем значимости 4%. Заливкой выделен доверительный интервал

Итого

Среднее значение – математическое ожидание случайной величины, находится по формуле:

μ = E(X) = Σ(pi•Xi)

Среднеквадратичное отклонение – математическое ожидание удалённости значений от среднего, находится по формуле:

σ = √(σ2) = √[∑[(Xi – μ)2]/n]

n-квантиль – разделение функции распределения на n равных отрезков, основные типы квантилей:

  • 2-квантиль – медиана
  • 4-квантиль – квартили
  • 10-квантиль – децили
  • 100-квантиль – перцентили

Доверительный интервал уровня α – участок функции вероятности, содержащий α всех возможных значений. Двусторонний доверительный
интервал строится отсечением (1-α)/2 справа и слева. Левосторонний и правосторонний доверительные интервалы строятся отсечением
области (1-α) слева и справа соответственно.

Построить ряд распределения

Предположим, мы имеем 100 значений и все разные, например: масса тела Сомалийских пиратов.
Такой набор данных обрабатывать неудобно, мы даже не можем представить их на обычном графике.
Поэтому нам необходимо категоризировать имеющиеся данные и для этого мы делаем следующее:

Запишем наши данные в таблицу:

60 68 112 98 52 124 126 109 78 102
82 91 85 62 56 80 121 97 88 95
108 93 120 111 77 122 123 86 75 74
117 95 98 116 77 61 61 114 114 103
120 68 116 53 76 125 67 84 124 122
111 109 88 111 57 110 54 60 77 78
110 72 126 58 59 69 116 77 124 91
89 112 86 94 102 70 79 65 125 61
83 63 83 52 64 66 103 77 54 56
86 81 96 109 76 74 74 54 124 81
Таблица 3. Вес сомалийских пиратов

Данные разобьём на группы, для начала предлагаю разбить на десять интервалов:


Узнаём максимальное и минимальное значения, вычитаем их друг из друга и делим на количество
интервалов – получили отрезки:

Максимальное значение: 126
Минимальное значение: 52
Разница: 126 – 52 = 74
Длина интервала: 74 / 10 = 7.4

Теперь посчитаем количество пиратов (весов, я имею ввиду) в каждом интервале:

# Интервал Количество элементов
1. 52 – 59.4 11
2. 59.4 – 66.8 10
3. 66.8 – 74.2 9
4. 74.2 – 81.6 14
5. 81.6 – 89 10
6. 89 – 96.4 8
7. 96.4 – 103.8 7
8. 103.8 – 111.2 9
9. 111.2 – 118.6 8
10. 118.6 – 126 12
Таблица 4. Количество элементов в интервалах

Вуа-ля, наше распределение на графике:

График 11. Ряд распределения массы тела сомалийских пиратов

Бонус

Интервалы лучше брать целыми числами, поэтому, если с выбранным количеством интервалов
размер выходит нецелым, то можно раздвинуть диапазон значений, пример:

Значение интервала равно 7.4, число не является целым, поэтому
отодвигаем верхнюю границу:
Остаток от деления: [(126 – 52) / 10] = 4
Подвинуть на: 6
Новый диапазон: [52;132]

Диапазон можно двигать как вверх, так и вниз, но лучше в обе стороны.

Совет

Принято делить распределение на 7-8 интервалов, но в каждой конкретной ситуации
Вы можете выбрать отличное количество интервалов, впрочем, как и сделать их
различной длины.

Список параметров

Итак, вот список основных параметров дискретного закона распределения:

Название Символ Формула
Математическое ожидание (среднее) E(X) Σ(pi•Xi)
Центральный момент
(среднеквадратичное отклонение)
σx σ = √(σ2) = √[∑[(Xi – μ)2]/n]
Длина интервала R max(x) – min(x)
Мода mo max P(x = mo)
1й квантиль F(x) = 0.25
Медиана me F(x) = 0.5
Дециль F(x) = 0.1
Таблица 5. Основные параметры дискретного закона распределения

Шаблон гистограммы в OpenOffice Calc

Файл histogram_mock.ods содержит шаблон
построения гистограммы.

Вам понравилась статья?
/

Просмотров: 15 988


Квантиль – что это?

Определение 1. Кванти́ль в математической статистике – число  xp такое, что заданная случайная величина  X  превышает его лишь с фиксированной вероятностью p.

Классное определение, но годится такое определение разве что для википедии, оно не конструктивно, т.е не пригодно для практических целей. Немного терпения, и вам станет понятно данное определение. Более того, вы с легкостью сможете находить квантили любого уровня, а также сможете применять данное понятие для решения задач по статистике.

Как найти квантиль

Попытка №2 – конструктивное определение квантиля:

Определение 1*. Квантилью xp (p-квантилью, квантилью уровня p) случайной величины X, имеющей функцию распределения F (x), называют решение xp уравнения F (x) = p.

 Следовательно, для того чтобы найти квантиль xp необходимо найти решение уравнения F (x) = p.

Для наглядности, найдем решение графически:

1. Построим функцию распределения F(x);

2. Построим горизонтальную линию уровня p;

3. Находим точку пересечения данных линий, опускаем перпендикуляр на ось X, получаем  квантиль xp (квантиль уровня p) смотри рисунок 1.

 Аналогично для дискретной случайной величины X смотри рисунок 2.

Замечание.  Для дискретной случайной величины X функция распределения F(x) имеет ступенчатый вид, функция не монотонна. Поэтому решение уравнения F(x) = p в общем случае не однозначно ( в решение попадают интервалы). В таких случаях, для определенности квантилем назначают средину интервала, как показано на рис.2.

Квантили удобны для сравнения различных законов распределения вероятностей. В некоторых случаях пользуются децилями: x0,1 , x0,2 , x0,3 , …, x0,9 . Однако наибольшее распространение получили квартили. Квартилями называют квантили порядков 0,25, 0,5 и 0,75. Будем их обозначать соответственно как k1 , k2 , k3 . Квартили k1 и k3 называют обычно нижней и верхней квартилями. Вторая квартиль k2 совпадает с  медианой распределения.

Определение 2. Децилями называют квантили уровня 0,1, 0,2, 0,3, …0,9, обозначают соответственно d1, d2, d3,…d9.

Определение 3. Квартилями называют квантили порядков 0,25, 0,5 и 0,75, обозначают соответственно k1 , k2 , k3 .

Определение 4. Медианой называют квантиль уровня 0,5,

обозначают Me = x0,5.

Ну вот, пришло время, на конкретном примере показать, как находить квантили.

Пример. Пусть имеется выборка дискретной случайной величины X:

3 0 1 5 1 2 4 5 3 4
2 4 2 0 2 3 1 3 2 1
4 3 0 2 1 0 4 2 3 2

Найти квантили уровня 0,2 и 0,3  ( x0,2 и x0,3 )

Решение.

1) Находим функцию распределения дискретной случайной величины:

Вариант Частота Частность F(X)
0 4 0,133333 0,133333
1 5 0,166667 0,3
2 8 0,266667 0,566667
3 6 0,2 0,766667
4 5 0,166667 0,933333
5 2 0,066667 1

2) Строим график функции распределения, проводим линии уровня p = 0,2 и p = 0,3,

3) получаем квантили: x0,2 = 1, x0,3 = 1,5, или, можно сказать так,  получаем децили d2=1, d3=1,5

Мода и медиана случайной величины.
Квантиль уровня случайной величины

  • Краткая теория
  • Примеры решения задач

Краткая теория


Кроме
математического ожидания и дисперсии, в теории вероятностей применяется еще ряд
числовых характеристик, отражающих те или иные особенности распределения.

Мода непрерывной и дискретной случайной величины

Модой
случайной величины называется ее наиболее вероятное значение, для которого
вероятность

 или плотность вероятности

 достигает максимума.

В
частности, наивероятнейшее значение числа успехов в схеме Бернулли – это мода
биномиального распределения.

Если
вероятность или плотность вероятности достигает максимума не в одной, а в
нескольких точках, распределение называется полимодальным.

Полимодальное распределение

Медиана непрерывной и дискретной случайной величины

Медианой случайной величины

 называют число

, такое, что

.

То есть вероятность того, что
случайная величина

 примет
значение, меньшее медианы

 или больше ее,
одна и та же и равна

.

Для дискретной случайной величины

 это число может
не совпадать ни с одним из значений

. Поэтому медиану дискретной случайной величины
определяют как любое число

, лежащее между двумя соседними возможными значениями

 и

 такими, что

.

Для непрерывной случайной величины,
геометрически, вертикальная прямая

, проходящая через точку с абсциссой, равной

, делит площадь фигуры под кривой распределения на две
равные части.

Медиана на графике плотности вероятности непрерывной
случайной величины

Очевидно, что в точке

  функция распределения непрерывной случайной
величины равна

, то есть

.

Медиана на графике функции распределения непрерывной
случайной величины

Квантили и процентные точки случайной величины

Наряду с отмеченными выше числовыми
характеристиками для описания случайной величины используется понятие квантилей
и процентных точек.

Квантилем уровня

 (или

 – квантилем)
называется такое значение

 случайной
величины, при котором функция ее распределения принимает значение, равное

, то есть:

Некоторые квантили получили особое
называние. Очевидно, что введенная выше медиана случайной величины есть
квантиль уровня 0,5, то есть

. Квантили

 и

 получили
название соответственно верхнего и нижнего квантилей. Также в литературе
встречаются термины: децили (под которыми понимают квантили

) и процентили (квантили

).

С понятием квантиля тесно связано
понятие процентной точки. Под

 точкой
подразумевается квантиль

, то есть такое значение случайной величины

, при котором

.

Смежные темы решебника:

  • Структурные средние в статистике – мода, медиана, квантиль, дециль
  • Дискретная случайная величина
  • Непрерывная случайная величина

Примеры решения задач


Пример 1

Найти
моду, медиану, квантиль

 и 40%-ну точку случайной величины

 c плотностью распределения:

Решение

На сайте можно заказать решение контрольной или самостоятельной работы, домашнего задания, отдельных задач. Для этого вам нужно только связаться со мной:

ВКонтакте
WhatsApp
Telegram

Мгновенная связь в любое время и на любом этапе заказа. Общение без посредников. Удобная и быстрая оплата переводом на карту СберБанка. Опыт работы более 25 лет.

Подробное решение в электронном виде (docx, pdf) получите точно в срок или раньше.

Исследуем
функцию на наибольшее и наименьшее значение на отрезке

Производная:

Производная
не обращается в нуль.

Значения
на концах отрезка:

Следовательно,
мода:

Медиану

 найдем из условия:

В нашем
случае получаем:

Значение

 принадлежит отрезку

,
следовательно, искомая медиана:

Квантиль

 найдем из уравнения:

Значение

 принадлежит отрезку

,
следовательно, искомый квантиль:

Найдем
40%-ную точку случайной величины

, или квантиль

 из уравнения:

Значение

 принадлежит отрезку

,
следовательно, искомая точка:

Ответ:

.


Пример 2

Найти
моду, медиану, квантиль

 случайной величины

, заданной функцией
распределения:

Решение

На сайте можно заказать решение контрольной или самостоятельной работы, домашнего задания, отдельных задач. Для этого вам нужно только связаться со мной:

ВКонтакте
WhatsApp
Telegram

Мгновенная связь в любое время и на любом этапе заказа. Общение без посредников. Удобная и быстрая оплата переводом на карту СберБанка. Опыт работы более 25 лет.

Подробное решение в электронном виде (docx, pdf) получите точно в срок или раньше.

Найдем
плотность распределения:

Исследуем
функцию на наибольшее и наименьшее значение на отрезке

Производная:

Значения
функции

 в стационарных точках и на концах отрезка:

Распределение
полимодальное:

Медиану

 найдем из уравнения:

Итак,
медиана:

Квантиль

 найдем из уравнения:

Итак:

Ответ:

.

  • Краткая теория
  • Примеры решения задач

Probability density of a normal distribution, with quartiles shown. The area below the red curve is the same in the intervals (−∞,Q1), (Q1,Q2), (Q2,Q3), and (Q3,+∞).

In statistics and probability, quantiles are cut points dividing the range of a probability distribution into continuous intervals with equal probabilities, or dividing the observations in a sample in the same way. There is one fewer quantile than the number of groups created. Common quantiles have special names, such as quartiles (four groups), deciles (ten groups), and percentiles (100 groups). The groups created are termed halves, thirds, quarters, etc., though sometimes the terms for the quantile are used for the groups created, rather than for the cut points.

qquantiles are values that partition a finite set of values into q subsets of (nearly) equal sizes. There are q − 1 partitions of the q-quantiles, one for each integer k satisfying 0 < k < q. In some cases the value of a quantile may not be uniquely determined, as can be the case for the median (2-quantile) of a uniform probability distribution on a set of even size. Quantiles can also be applied to continuous distributions, providing a way to generalize rank statistics to continuous variables (see percentile rank). When the cumulative distribution function of a random variable is known, the q-quantiles are the application of the quantile function (the inverse function of the cumulative distribution function) to the values {1/q, 2/q, …, (q − 1)/q}.

Specialized quantiles[edit]

Some q-quantiles have special names:[citation needed]

  • The only 2-quantile is called the median
  • The 3-quantiles are called tertiles or terciles → T
  • The 4-quantiles are called quartiles → Q; the difference between upper and lower quartiles is also called the interquartile range, midspread or middle fifty → IQR = Q3Q1.
  • The 5-quantiles are called quintiles or pentiles → QU
  • The 6-quantiles are called sextiles → S
  • The 7-quantiles are called septiles → SP
  • The 8-quantiles are called octiles → O
  • The 10-quantiles are called deciles → D
  • The 12-quantiles are called duo-deciles or dodeciles → DD
  • The 16-quantiles are called hexadeciles → H
  • The 20-quantiles are called ventiles, vigintiles, or demi-deciles → V
  • The 100-quantiles are called percentiles or centiles → P
  • The 1000-quantiles have been called permilles or milliles, but these are rare and largely obsolete[1]

Quantiles of a population[edit]

As in the computation of, for example, standard deviation, the estimation of a quantile depends upon whether one is operating with a statistical population or with a sample drawn from it. For a population, of discrete values or for a continuous population density, the k-th q-quantile is the data value where the cumulative distribution function crosses k/q. That is, x is a k-th q-quantile for a variable X if

Pr[X < x] ≤ k/q or, equivalently, Pr[Xx] ≥ 1 − k/q

and

Pr[Xx] ≥ k/q.

For a finite population of N equally probable values indexed 1, …, N from lowest to highest, the k-th q-quantile of this population can equivalently be computed via the value of Ip = N k/q. If Ip is not an integer, then round up to the next integer to get the appropriate index; the corresponding data value is the k-th q-quantile. On the other hand, if Ip is an integer then any number from the data value at that index to the data value of the next index can be taken as the quantile, and it is conventional (though arbitrary) to take the average of those two values (see Estimating quantiles from a sample).

If, instead of using integers k and q, the “p-quantile” is based on a real number p with 0 < p < 1 then p replaces k/q in the above formulas. This broader terminology is used when quantiles are used to parameterize continuous probability distributions. Moreover, some software programs (including Microsoft Excel) regard the minimum and maximum as the 0th and 100th percentile, respectively. However, this broader terminology is an extension beyond traditional statistics definitions.

Examples[edit]

The following two examples use the Nearest Rank definition of quantile with rounding. For an explanation of this definition, see percentiles.

Even-sized population[edit]

Consider an ordered population of 10 data values [3, 6, 7, 8, 8, 10, 13, 15, 16, 20]. What are the 4-quantiles (the “quartiles”) of this dataset?

Quartile Calculation Result
Zeroth quartile Although not universally accepted, one can also speak of the zeroth quartile. This is the minimum value of the set, so the zeroth quartile in this example would be 3. 3
First quartile The rank of the first quartile is 10×(1/4) = 2.5, which rounds up to 3, meaning that 3 is the rank in the population (from least to greatest values) at which approximately 1/4 of the values are less than the value of the first quartile. The third value in the population is 7. 7
Second quartile The rank of the second quartile (same as the median) is 10×(2/4) = 5, which is an integer, while the number of values (10) is an even number, so the average of both the fifth and sixth values is taken—that is (8+10)/2 = 9, though any value from 8 through to 10 could be taken to be the median. 9
Third quartile The rank of the third quartile is 10×(3/4) = 7.5, which rounds up to 8. The eighth value in the population is 15. 15
Fourth quartile Although not universally accepted, one can also speak of the fourth quartile. This is the maximum value of the set, so the fourth quartile in this example would be 20. Under the Nearest Rank definition of quantile, the rank of the fourth quartile is the rank of the biggest number, so the rank of the fourth quartile would be 10. 20

So the first, second and third 4-quantiles (the “quartiles”) of the dataset [3, 6, 7, 8, 8, 10, 13, 15, 16, 20] are [7, 9, 15]. If also required, the zeroth quartile is 3 and the fourth quartile is 20.

Odd-sized population[edit]

Consider an ordered population of 11 data values [3, 6, 7, 8, 8, 9, 10, 13, 15, 16, 20]. What are the 4-quantiles (the “quartiles”) of this dataset?

Quartile Calculation Result
Zeroth quartile Although not universally accepted, one can also speak of the zeroth quartile. This is the minimum value of the set, so the zeroth quartile in this example would be 3. 3
First quartile The first quartile is determined by 11×(1/4) = 2.75, which rounds up to 3, meaning that 3 is the rank in the population (from least to greatest values) at which approximately 1/4 of the values are less than the value of the first quartile. The third value in the population is 7. 7
Second quartile The second quartile value (same as the median) is determined by 11×(2/4) = 5.5, which rounds up to 6. Therefore, 6 is the rank in the population (from least to greatest values) at which approximately 2/4 of the values are less than the value of the second quartile (or median). The sixth value in the population is 9. 9
Third quartile The third quartile value for the original example above is determined by 11×(3/4) = 8.25, which rounds up to 9. The ninth value in the population is 15. 15
Fourth quartile Although not universally accepted, one can also speak of the fourth quartile. This is the maximum value of the set, so the fourth quartile in this example would be 20. Under the Nearest Rank definition of quantile, the rank of the fourth quartile is the rank of the biggest number, so the rank of the fourth quartile would be 11. 20

So the first, second and third 4-quantiles (the “quartiles”) of the dataset [3, 6, 7, 8, 8, 9, 10, 13, 15, 16, 20] are [7, 9, 15]. If also required, the zeroth quartile is 3 and the fourth quartile is 20.

Relationship to the mean[edit]

For any population probability distribution on finitely many values, and generally for any probability distribution with a mean and variance, it is the case that

{displaystyle mu -sigma cdot {sqrt {frac {1-p}{p}}}leq Q(p)leq mu +sigma cdot {sqrt {frac {p}{1-p}}},,}

where Q(p) is the value of the p-quantile for 0 < p < 1 (or equivalently is the k-th q-quantile for p = k/q), where μ is the distribution’s arithmetic mean, and where σ is the distribution’s standard deviation.[2] In particular, the median (p = k/q = 1/2) is never more than one standard deviation from the mean.

The above formula can be used to bound the value μ + in terms of quantiles.
When z ≥ 0, the value that is z standard deviations above the mean has a lower bound

{displaystyle mu +zsigma geq Qleft({frac {z^{2}}{1+z^{2}}}right),,mathrm {~for~} zgeq 0.}

For example, the value that is z = 1 standard deviation above the mean is always greater than or equal to Q(p = 0.5), the median, and the value that is z = 2 standard deviations above the mean is always greater than or equal to Q(p = 0.8), the fourth quintile.

When z ≤ 0, there is instead an upper bound

{displaystyle mu +zsigma leq Qleft({frac {1}{1+z^{2}}}right),,mathrm {~for~} zleq 0.}

For example, the value μ + for z = −3 will never exceed Q(p = 0.1), the first decile.

Estimating quantiles from a sample[edit]

One problem which frequently arises is estimating a quantile of a (very large or infinite) population based on a finite sample of size N.

The asymptotic distribution of the p-th sample quantile is well-known: it is asymptotically normal around the p-th population quantile with variance equal to

{displaystyle {frac {p(1-p)}{Nf(x_{p})^{2}}}}

where f(xp) is the value of the distribution density at the p-th population quantile ({displaystyle x_{p}=F^{-1}(p)}).[3]

{displaystyle {text{Sample quantile p}}sim {mathcal {N}}(mu =p,sigma ^{2}={frac {p(1-p)}{Nf(x_{p})^{2}}})}

However, this distribution relies on knowledge of the population distribution; which is equivalent to knowledge of the population quantiles, which we are trying to estimate! Modern statistical packages thus rely on a different technique — or selection of techniques — to estimate the quantiles.

Hyndman and Fan compiled a taxonomy of nine algorithms[4] used by various software packages.
All methods compute Qp, the estimate for the p-quantile (the k-th q-quantile, where p = k/q) from a sample of size N by computing a real valued index h. When h is an integer, the h-th smallest of the N values, xh, is the quantile estimate. Otherwise a rounding or interpolation scheme is used to compute the quantile estimate from h, xh, and xh. (For notation, see floor and ceiling functions).

The first three are piecewise constant, changing abruptly at each data point, while the last six use linear interpolation between data points, and differ only in how the index h used to choose the point along the piecewise linear interpolation curve, is chosen.

Mathematica,[5] Matlab,[6] R[7] and GNU Octave[8] programming languages support all nine sample quantile methods. SAS includes five sample quantile methods, SciPy[9] and Maple[10] both include eight, EViews[11] includes the six piecewise linear functions, Stata[12] includes two, Python[13] includes two, and Microsoft Excel includes two. Mathematica and SciPy support arbitrary parameters for methods which allow for other, non-standard, methods.

The estimate types and interpolation schemes used include:

Type h Qp Notes
R‑1, SAS‑3, Maple‑1 Np xh Inverse of empirical distribution function.
R‑2, SAS‑5, Maple‑2, Stata Np + 1/2 (xh – 1/2⌉ + xh + 1/2⌋) / 2 The same as R-1, but with averaging at discontinuities.
R‑3, SAS‑2 Np − 1/2 xh The observation numbered closest to Np. Here, h indicates rounding to the nearest integer, choosing the even integer in the case of a tie.
R‑4, SAS‑1, SciPy‑(0,1), Maple‑3 Np xh + (h − ⌊h⌋) (xhxh) Linear interpolation of the inverse of the empirical distribution function.
R‑5, SciPy‑(1/2,1/2), Maple‑4 Np + 1/2 Piecewise linear function where the knots are the values midway through the steps of the empirical distribution function.
R‑6, Excel, Python, SAS‑4, SciPy‑(0,0), Maple‑5, Stata‑altdef (N + 1)p Linear interpolation of the expectations for the order statistics for the uniform distribution on [0,1]. That is, it is the linear interpolation between points (ph, xh), where ph = h/(N+1) is the probability that the last of (N+1) randomly drawn values will not exceed the h-th smallest of the first N randomly drawn values.
R‑7, Excel, Python, SciPy‑(1,1), Maple‑6, NumPy, Julia (N − 1)p + 1 Linear interpolation of the modes for the order statistics for the uniform distribution on [0,1].
R‑8, SciPy‑(1/3,1/3), Maple‑7 (N + 1/3)p + 1/3 Linear interpolation of the approximate medians for order statistics.
R‑9, SciPy‑(3/8,3/8), Maple‑8 (N + 1/4)p + 3/8 The resulting quantile estimates are approximately unbiased for the expected order statistics if x is normally distributed.

Notes:

  • R‑1 through R‑3 are piecewise constant, with discontinuities.
  • R‑4 and following are piecewise linear, without discontinuities, but differ in how h is computed.
  • R‑3 and R‑4 are not symmetric in that they do not give h = (N + 1) / 2 when p = 1/2.
  • Excel’s PERCENTILE.EXC and Python’s default “exclusive” method are equivalent to R‑6.
  • Excel’s PERCENTILE and PERCENTILE.INC and Python’s optional “inclusive” method are equivalent to R‑7. This is R’s default method.
  • Packages differ in how they estimate quantiles beyond the lowest and highest values in the sample, i.e. p < 1/N and p > (N − 1)/N. Choices include returning an error value, computing linear extrapolation, or assuming a constant value.

Of the techniques, Hyndman and Fan recommend R-8, but most statistical software packages have chosen R-6 or R-7 as the default.[14]

The standard error of a quantile estimate can in general be estimated via the bootstrap. The Maritz–Jarrett method can also be used.[15]

Approximate quantiles from a stream[edit]

Computing approximate quantiles from data arriving from a stream can be done efficiently using compressed data structures. The most popular methods are t-digest[16] and KLL.[17] These methods read a stream of values in a continuous fashion and can, at any time, be queried about the approximate value of a specified quantile.

Both algorithms are based on a similar idea: compressing the stream of values by summarizing identical or similar values with a weight. If the stream is made of a repetition of 100 times v1 and 100 times v2, there is no reason to keep a sorted list of 200 elements, it is enough to keep two elements and two counts to be able to recover the quantiles. With more values, these algorithms maintain a trade-off between the number of unique values stored and the precision of the resulting quantiles. Some values may be discarded from the stream and contribute to the weight of a nearby value without changing the quantile results too much. The t-digest maintains a data structure of bounded size using an approach motivated by k-means clustering to group similar values. The KLL algorithm uses a more sophisticated “compactor” method that leads to better control of the error bounds at the cost of requiring an unbounded size if errors must be bounded relative to p.

Both methods belong to the family of data sketches that are subsets of Streaming Algorithms with useful properties: t-digest or KLL sketches can be combined. Computing the sketch for a very large vector of values can be split into trivially parallel processes where sketches are computed for partitions of the vector in parallel and merged later.

Discussion[edit]

Standardized test results are commonly reported as a student scoring “in the 80th percentile”, for example. This uses an alternative meaning of the word percentile as the interval between (in this case) the 80th and the 81st scalar percentile.[18] This separate meaning of percentile is also used in peer-reviewed scientific research articles.[19] The meaning used can be derived from its context.

If a distribution is symmetric, then the median is the mean (so long as the latter exists). But, in general, the median and the mean can differ. For instance, with a random variable that has an exponential distribution, any particular sample of this random variable will have roughly a 63% chance of being less than the mean. This is because the exponential distribution has a long tail for positive values but is zero for negative numbers.

Quantiles are useful measures because they are less susceptible than means to long-tailed distributions and outliers. Empirically, if the data being analyzed are not actually distributed according to an assumed distribution, or if there are other potential sources for outliers that are far removed from the mean, then quantiles may be more useful descriptive statistics than means and other moment-related statistics.

Closely related is the subject of least absolute deviations, a method of regression that is more robust to outliers than is least squares, in which the sum of the absolute value of the observed errors is used in place of the squared error. The connection is that the mean is the single estimate of a distribution that minimizes expected squared error while the median minimizes expected absolute error. Least absolute deviations shares the ability to be relatively insensitive to large deviations in outlying observations, although even better methods of robust regression are available.

The quantiles of a random variable are preserved under increasing transformations, in the sense that, for example, if m is the median of a random variable X, then 2m is the median of 2X, unless an arbitrary choice has been made from a range of values to specify a particular quantile. (See quantile estimation, above, for examples of such interpolation.) Quantiles can also be used in cases where only ordinal data are available.

See also[edit]

  • Flashsort – sort by first bucketing by quantile
  • Interquartile range
  • Descriptive statistics
  • Quartile
  • Q–Q plot
  • Quantile function
  • Quantile normalization
  • Quantile regression
  • Quantization
  • Summary statistics
  • Tolerance interval (“confidence intervals for the pth quantile”[20])

References[edit]

  1. ^ Helen Mary Walker, Joseph Lev, Elementary Statistical Methods, 1969, [p. 60 https://books.google.com/books?id=ogYnAQAAIAAJ&dq=permille]
  2. ^ Bagui, S.; Bhaumik, D. (2004). “Glimpses of inequalities in probability and statistics” (PDF). International Journal of Statistical Sciences. 3: 9–15. ISSN 1683-5603.
  3. ^ Stuart, Alan; Ord, Keith (1994). Kendall’s Advanced Theory of Statistics. London: Arnold. ISBN 0340614307.
  4. ^ Hyndman, Rob J.; Fan, Yanan (November 1996). “Sample Quantiles in Statistical Packages”. American Statistician. American Statistical Association. 50 (4): 361–365. doi:10.2307/2684934. JSTOR 2684934.
  5. ^ Mathematica Documentation See ‘Details’ section
  6. ^ “Quantile calculation”. uk.mathworks.com.
  7. ^ Frohne, Ivan; Hyndman, Rob J. (2009). Sample Quantiles. R Project. ISBN 978-3-900051-07-5.
  8. ^ “Function Reference: quantile – Octave-Forge – SourceForge”. Retrieved 6 September 2013.
  9. ^ “scipy.stats.mstats.mquantiles — SciPy v1.4.1 Reference Guide”. docs.scipy.org.
  10. ^ “Statistics – Maple Programming Help”. www.maplesoft.com.
  11. ^ “EViews 9 Help”. Archived from the original on April 16, 2016. Retrieved April 4, 2016.
  12. ^ Stata documentation for the pctile and xtile commands See ‘Methods and formulas’ section.
  13. ^ “statistics — Mathematical statistics functions — Python 3.8.3rc1 documentation”. docs.python.org.
  14. ^ Hyndman, Rob J. (28 March 2016). “Sample quantiles 20 years later”. Hyndsignt blog. Retrieved 2020-11-30.
  15. ^ Wilcox, Rand R. (2010). Introduction to Robust Estimation and Hypothesis Testing. ISBN 978-0-12-751542-7.
  16. ^ Dunning, Ted; Ertl, Otmar (February 2019). “Computing Extremely Accurate Quantiles Using t-Digests”. arXiv:1902.04023 [stat.CO].
  17. ^ Zohar Karnin, Kevin Lang, Edo Liberty (2016). “Optimal Quantile Approximation in Streams”. arXiv:1603.05346 [cs.DS].{{cite arxiv}}: CS1 maint: uses authors parameter (link)
  18. ^ “percentile”. Oxford Reference. Retrieved 2020-08-17.
  19. ^ Kruger, J.; Dunning, D. (December 1999). “Unskilled and unaware of it: how difficulties in recognizing one’s own incompetence lead to inflated self-assessments”. Journal of Personality and Social Psychology. 77 (6): 1121–1134. doi:10.1037/0022-3514.77.6.1121. ISSN 0022-3514. PMID 10626367.
  20. ^ Stephen B. Vardeman (1992). “What about the Other Intervals?”. The American Statistician. 46 (3): 193–197. doi:10.2307/2685212. JSTOR 2685212.

Further reading[edit]

  • Serfling, R. J. (1980). Approximation Theorems of Mathematical Statistics. John Wiley & Sons. ISBN 0-471-02403-1.

External links[edit]

  • Media related to Quantiles at Wikimedia Commons

Добавить комментарий