Ведение статистики, тестирование различных вариантов данных с отслеживанием эффективности изменений имеет огромное значение в отношении выбора той или иной концепции развития. Однако для анализа важно выбрать только значимые для статистики данные. В этой статье разберемся с понятием статистическая значимость в целом и в A/B тестах, а также рассмотрим, как ее оценивать и рассчитывать.
Что такое статистическая значимость
В процессе любого исследования стоит задача выявить связи между переменными, которые, как правило, характеризуются направлением, силой и надежностью. Чем выше вероятность повторного обнаружения связи, тем она надежнее.
Для проверки гипотез при проведении различных тестов применяется методика статистического анализа. Результатом оценки уровня надежности связи и проверки гипотезы выступает статистическая значимость (statistical significance). Чем меньше вероятность, тем надежнее будет связь.
Статистическая значимость – это параметр, который подтверждает, что результаты исследования были достигнуты не случайно.
Аналитик делает такое заключение, используя метод статистической проверки гипотез. По итогам теста определяется p-значение или значение уровня значимости. Чем оно меньше, тем больше будет статистическая значимость.
Обратите внимание! Слово «значимость» в данном контексте отличается по смыслу от общепринятого. Статистически значимые значения не обязательно являются значимыми или важными. Если же уровень значимости низкий, это не говорит о том, что итоги эксперимента не имеют ценности на практике.
Говоря о статистической значимости, стоит иметь ввиду:
- уровень значимости дает понять, что связь между переменными не случайна;
- уровень значимости в статистике может служить доказательством правдоподобности нулевой гипотезы;
- в ходе проверки получаем информацию о том, что результат эксперимента является или не является статистически значимым.
Значимость статистического критерия применяют при испытаниях вакцин, эффекта новых лекарственных препаратов, изучении болезней, а также при определении, насколько успешна и эффективна работа компании, при A/B тестировании сайтов в маркетинге, а также в различных областях науки, психологии.
История понятия уровня значимости
Статистика помогает решать задачи в различных сферах много веков, однако о статистической значимости заговорили лишь в начале XX столетия. Ввел это понятие в 1925 году британский генетик и статистик сэр Рональд Фишер, который работал над методикой проверки гипотез.
В процессе анализа любого процесса есть вероятность, что произойдут те или иные явления. Итоги эксперимента, которые имели высокую вероятность стать действительными, Фишер описывал словом «значимость» (в переводе с английского significance).
Если данные были недостаточно конкретные для проверки, возникала проблема нулевой гипотезы. Для таких систем в качестве удобной для отклонения нулевой гипотезы выборки исследователем было предложено считать вероятность событий как 5%.
Как оценить статистическую значимость
Для проверки гипотезы используют статистический анализ, при этом уровень значимости определяется с помощью p-значения. Последнее показывает вероятность события, если предположить, что определенная нулевая гипотеза верна.
Весь процесс оценивания уровня значимости можно разделить на 3 стадии, которые, в свою очередь, включают следующие промежуточные этапы.
Постановка эксперимента
- Формулировка гипотезы.
- Установка уровня значимости, который поможет определить отклонение в распределении данных для идентификации значимого результата.
Если р-значение меньше или равно уровню значимости, данные можно считать статистически значимыми.
- Выбор критерия – одностороннего или двустороннего.
Первый подходит для случаев, когда известно, в какую сторону от нормального значения могут отклониться данные. Второй критерий лучше выбирать, если трудно понять возможное направление отклонения данных от контрольной группы значений. - Определение объема выборки с использованием статистической мощности. Она показывает вероятность того, что при заданной выборке будет получен именно ожидаемый результат. Зачастую пороговая (критическая) цифра мощности – 80%.
Вычисление стандартного отклонения
- Расчет стандартного отклонения, которое показывает величину разброса данных на заданной выборке.
- Поиск среднего значения в каждой исследуемой группе. Для этого осуществляют сложение всех значений, а сумму делят на их количество.
- Определение стандартного отклонения (xi – µ). Разница вычисляется путем вычитания каждого полученного значения из средней величины.
- Возведение полученных величин в квадрат и их суммирование. На данном этапе все числа со знаком «минус» должны исчезнуть.
- Деление суммы на общий объем выборки минус 1. Единица – это генеральная совокупность, которая не учитывается в расчете.
- Извлечение корня квадратного.
Определение значимости
- Определение дисперсии между двумя группами данных по формуле:
sd = √((s1/N1) + (s2/N2)), где:
s1 – стандартной отклонение в первой группе;
s2 – стандартное отклонение во второй группе;
N1 – объем выборки в первой группе;
N2 – объем выборки во 2-й группе. - Поиск t-оценки данных. С ее помощью можно переводить данные в такую форму, которая позволит использовать их в сравнении с другими значениями. T-оценка рассчитывается по формуле:
t = (µ1 – µ2)/sd, где:
µ1 – среднее значение для 1-й группы;
µ2 – среднее значение для 2-й группы;
sd – дисперсия между двумя группами. - Определение степени свободы выборки. Для этого объемы двух выборок складывают и вычитают 2.
- Оценка значимости. Ее осуществляют по таблице значений t-критерия (критерия Стьюдента).
- Повышение уверенности в достоверности выводов путем проведения дальнейшего исследования.
Статистическая значимость и гипотезы
Гипотеза – это теория, предположение. Если требуется проверка гипотез, всегда используется статистическая значимость. Предположение же называется гипотезой до тех пор, пока это утверждение не будет опровергнуто или доказано.
Гипотезы бывают двух типов:
- нулевая гипотеза – теория, не требующая доказательств. Согласно нее, при внесении изменений ничего не произойдет, т. е. стоит задача не доказать это, а опровергнуть;
- альтернативная гипотеза (исследовательская) – теория, в пользу которой нужно отклонить нулевую гипотезу, т. е. предстоит доказать, что одно решение лучше другого.
Рассмотрим, как статистическая значимость влияет на подтверждение или опровержение альтернативной гипотезы на простом примере.
У компании запущена реклама, которая стала давать меньше конверсий и продаж, чем месяц назад. По мнению маркетолога, причина кроется в рекламных креативах, которые приелись аудитории и требуют замены. Специалист предлагает заменить текстовый материал объявления. Гипотеза состоит в том, что после внесенных изменений будет достигнута главная цель эксперимента: клиенты, пришедшие на сайт с рекламы, станут покупать больше. Теперь маркетологу нужно проводить A/B тестирование обоих креативов, чтобы выяснить, какой текст объявления лучше работает. При высоком уровне достоверности данные условия позволят учитывать результаты такого тестирования.
Проверка статистических гипотез
В случаях, когда информация говорит о незначительных изменениях в сравнении с предыдущими значениями, требуется проверка гипотез. Она позволяет определить, действительно ли происходят изменения или это всего лишь результат неточности измерений.
Для этого принимают или отвергают нулевую гипотезу. Задача решается на основании соотношения p-уровня (общей статистической значимости) и α (уровня значимости).
- p-уровень < α – нулевая гипотеза отвергается;
- p-уровень > α – нулевая гипотеза принимается.
Чем меньше значение p-уровня, тем больше шансов, что тестовая статистика актуальна.
Критерии оценки
Уровень значимости для определения степени правдивости полученных результатов обычно устанавливается на отметке 0,05. Таким образом, интервал вероятности между разными вариантами составляет 5%.
После этого необходимо найти подходящий критерий, по которому будут оцениваться выдвинутые гипотезы: односторонний или двусторонний. Для этого применяют разные методы расчета:
- t-критерий Стьюдента;
- u-критерий Манна-Уитни;
- w-критерий Уилкоксона;
- критерий хи-квадрата Пирсона.
T-критерий Стьюдента
предполагает сравнение данных по двум вариантам исследования и позволяет делать выводы о том, по каким параметрам они отличаются. Метод актуален, когда есть сомнения, что данные располагаются ниже или выше относительно нормального распределения.
Установить, все ли данные лежат в заданном пределе, можно с помощью специальной таблицы значений. Но чаще применяют автоматический расчет t-критерия Стьюдента. Существует много калькуляторов, которые работают по схожему принципу:
- Указываем вид расчета (связанные выборки или несвязанные).
- Вносим данные о первой выборке в первую колонку, о второй – во вторую. В одну строку вписываем одно значение, без пропусков и пробелов. Для отделения дробной части от основной используется точка.
- После заполнения обеих колонок, нажимаем кнопку запуска.
Преимущество коэффициента Стьюдента в том, что он применим для любой сферы деятельности, поэтому является самым популярным и используется на практике чаще всего.
Критерий Манна-Уитни
Рассчитывается по иному алгоритму, но предполагает использование аналогичных исходных данных. Его также зачастую рассчитывают онлайн с помощью специальных сервисов.
При расчете критерия Манна-Уитни есть особенности. Показатель применим для малых выборок или выборок с большими выбросами данных. Чем меньше совпадающих значений в выборках, тем корректнее будет работать критерий.
W-критерий Уилкоксона
Непараметрический аналог t-критерия Стьюдента для сравнения показателей до и после эксперимента, основанный на рангах. Его принцип заключается в том, что для каждого участника определяется величина изменения признака. Затем все значения упорядочиваются по абсолютной величине, рангам присваивается знак изменения, после чего «знаковые ранги» суммируются. Данный критерий применяется в медицинской статистике для сравнения показателей пациентов до лечения и после его завершения.
Критерий хи-квадрата Пирсона
Еще один непараметрический метод для оценки уровня значимости двух и более относительных показателей. Применяется для анализа таблиц сопряженности, в которых приведены данные о частотах различных исходов с учетом фактора риска.
Проблема множественного тестирования гипотез
Если сравнивать группы по различным срезам аудитории или метрикам, может возникать проблема множественного тестирования. Дело в том, что учесть абсолютно все проверки достаточно сложно. Это связано со сложностью предварительного прогнозирования их количества. К тому же, зачастую они всё равно не независимы.
Не существует универсального рецепта решения проблемы множественного тестирования гипотез. Аналитики рекомендуют руководствоваться здравым смыслом. Если протестировать много срезов по различным метрикам, любое исследование может показать якобы значимый для статистики результат. Это означает, итоги тестирования следует читать и интерпретировать с осторожностью.
Вычисление объема выборки и стандартного отклонения
После вычисления критерия оценки (критерия Стьюдента или Манна-Уитни) можно определить, какого оптимального объема должна быть выборка. При этом условии должно быть достаточное для признания достоверности результатов исследования количество людей в фокус-группах, на которых будут проверяться разные варианты.
Недостаточное количество участников эксперимента может стать причиной нехватки выборочных данных для того, чтобы сделать статистически значимый вывод и привести к повышению риска получения случайных результатов.
Объем выборки определяют с помощью статистической мощности (распространенный порог находится на уровне 80%). Этот показатель рассчитывают обычно с помощью специального калькулятора.
Затем можно переходить к вычислению уровня стандартного отклонения, по которому можно узнать величину разброса данных. Его рассчитывают по формуле:
s = √∑((xi – µ)2/(N – 1)), где:
xi – i-е значение или полученный результат эксперимента;
µ – среднее значение для конкретной исследуемой группы;
N – общее количество данных.
Для упрощения расчетов также используют онлайн-калькуляторы.
Значение p-уровня
Имея две гипотезы – нулевую и альтернативную, необходимо доказать одну из них (истинную) и опровергнуть другую (ложную).
Для этого основатель теории статистической значимости доктор Рональд Фишер создал определитель, с помощью которого можно было оценить, был эксперимент удачным или нет. Такой определитель получил название индекс достоверности или p-уровень (p-value).
P-уровень или уровень статистической значимости результатов – это показатель, который находится в обратной зависимости от истинного результата и отражает вероятность его ошибочной интерпретации.
Существует 3 p-уровня.
- P ≤ 0,05 – обычный уровень, т. е. получен статистически значимый результат.
- P ≤ 0,01 – высокий уровень, т. е. выявлена выраженная закономерность.
- P ≤ 0,001 – очень высокий уровень.
Есть и другие значения статистической значимости. Например, уровень p ≥ 0,1 свидетельствует о том, что итог эксперимента не является статистически значимым.
Приближенные к статистически значимым результаты с уровнями p = 0,06 ÷ 0,09 говорят о том, что есть тенденция к существованию искомой закономерности.
Говоря проще, чем ниже значение p-уровня, тем более статистически значимым будет результат эксперимента и тем ниже вероятность ошибки.
Расчет статистической значимости
Выше в статье мы рассматривали порядок оценки уровня статистической значимости. Что касается расчета, то вручную он выполняется редко. Большинство аналитиков определяют уровень значимости с помощью онлайн-калькулятора.
В анализе участвуют две гипотезы, для каждой из которых необходимо задать количество конверсий и размер выборки. Сервис автоматически рассчитывает показатель и определяет уровень значимости результата.
Порог вероятности
Основа статистической значимости – это вероятность получения нужного значения, если принять как факт, что нулевая гипотеза верна. Если предположить, что в процессе эксперимента было получено некое число Х, то при помощи функции плотности вероятности можно узнать, будет ли вероятность получить значение Х или любое другое значение с меньшей вероятностью, чем Х.
На рисунке изображена кривая Гаусса, соответствующая функции плотности вероятности, которая отвечает распределению значений показателя, при котором верна нулевая гипотеза.
При достаточно низком значении p-уровня не имеет смысла продолжать считать, что переменные не связаны друг с другом. Это позволяет отвергнуть нулевую гипотезу и принять факт того, что связь существует.
Пороги значимости в разных областях могут значительно отличаться. Так, при исследовании вероятности существования бозона Хиггса p-значение равно 1/3,5 млн, в сфере исследования геномов его уровень может достигать 5×10-8.
Статистическая значимость в A/B тестах
Одной из сфер широкого применения статистической значимости является маркетинг. Аналитики используют исследования для поиска оптимальных путей развития бизнеса, интернет-маркетологи оценивают эффективность рекламных кампаний и посещаемость ресурсов.
A/B тестирование – самый распространенный способ оптимизации страниц сайтов. Его результат невозможно предугадать, можно лишь строить алгоритм работы так, чтобы в конце тестирования получить максимальное количество данных, которые позволят сделать вывод о самом удачном варианте.
Важно, чтобы A/B тестирование длилось минимум 7 дней. Это позволит учесть колебания уровней конверсии и других показателей в разные дни.
Процедура A/B тестирования кажется довольно простой:
- Создается две веб-страницы (оригинальная и новая).
- Трафик делится между двумя версиями веб-страницы случайным образом.
- Собираются данные о каждой версии страницы.
- Данные анализируются и выбирается вариант с лучшими показателями, а второй отключается.
Важно, чтобы тестирование было достоверным, в противном случае неверное решение может привести к негативным последствиям для сайта.
В данном случае гипотезой считается достижение нужной достоверности. Сама достоверность будет статистической значимостью. Для тестирования гипотезы нужно сформулировать нулевую гипотезу и оценить возможность ее отклонения из-за малой вероятности.
Возможные ошибки
На этапе оценки результатов тестирования можно допустить два типа ошибок:
- ошибка первого рода (type I error) – ложноположительный итог, когда кажется, что различия между показателями двух тестируемых страниц есть, на самом же деле их нет;
- ошибка второго рода (type II error) – ложноотрицательный итог, когда существенная разница между тестируемыми страницами не заметна, но на самом деле она есть, при этом в тестировании видимое ее отсутствие является случайностью.
Как избежать ошибок
Избежать обоих типов ошибок можно, устанавливая при тестировании правильный размер выборки. Чтобы его определить, предстоит в настройках теста задать несколько параметров.
- Чтобы исключить ложноположительные результаты, понадобится указать уровень значимости. Обычно задают значение 0,05, которое будет гарантировать достоверность, превышающую 95%.
- Чтобы избежать ложноотрицательных результатов потребуется минимальная разница в ответах и вероятность обнаружить эту разницу, т. е. статистическая мощность. Последнюю по умолчанию устанавливают на уровне 80%.
Этого достаточно, чтобы вычислить требуемый размер выборки. Обычно расчеты проводятся с помощью спец. калькуляторов.
Можно ли доверять результатам на 100%
К сожалению, даже при правильно проведенной проверке гипотез могут быть допущены ошибки. Это связано с человеческим фактором, а точнее – со скрытыми предположениями, которые зачастую не имеют ничего общего с реальностью.
Вот распространенные предположения, которые приводят к ошибкам:
- посетители сайта, которые просматривают разные варианты веб-страницы, не связаны друг с другом;
- для всех посетителей вероятность конверсии одинакова;
- показатели, которые измеряются в процессе тестирования, имеют нормальное распределение.
На что обратить внимание
Без A/B теста сложно представить развитие современного интернет-продукта. Однако, несмотря на кажущийся простым инструмент, специалисты порой на практике встречаются с подводными камнями. Если знать о них заранее, можно повысить точность тестирования.
Первый узкий момент – проблема подглядывания. Наблюдение за итогами тестирования в реальном времени выступает в качестве соблазна для активных действий, предпринимаемых раньше времени. Обработка «сырых» данных неизменно приводит к статистической погрешности. Чем чаще смотреть на промежуточные результаты A/B теста, тем больше вероятность обнаружить разницу, которой в действительности нет:
- 2 подглядывания с желанием завершить тестирование повышают p-значение в 2 раза;
- 5 подглядывания – в 3,2 раза;
- 10 000 подглядываний – в 12 раз и более.
Решить проблему подглядывания можно тремя способами:
- Заблаговременно фиксировать размер выборки и не смотреть итоги теста до его окончания.
- С помощью математических методов: комбинация Sequential experiment design и байесовского подхода к A/B-тесту.
- С помощью продуктового метода, который предполагает предварительную оценку размера выборки, обеспечивающего эффективность тестирования, и принятие во внимание природы проблемы подглядывания в процессе промежуточных проверок.
Еще один подводный камень заключается в том, что от выигравшей гипотезы ожидают слишком многого. На самом деле в долгосрочной перспективе показатели победителя могут быть менее выдающимися, чем те, которые выдал тест.
Пример статистической значимости
Предположим, разработчики онлайн-игры тестируют два дизайна интерфейса. При A/B тестировании было привлечено 2000 новых игроков: по 1000 пользователей в каждую версию.
В первый день тестирования первая версия дизайна получила 370 возвратов пользователей, вторая – 510.
Как видно, вторая версия дизайна показала лучший результат возвратов. Но разработчики не были уверены, действительно ли это произошло из-за изменения продукта, а не стало следствием случайной погрешности.
Чтобы выяснить это, было принято решение рассчитать уровень значимости для наблюдаемой разницы. Поскольку метрика является простой, можно воспользоваться онлайн-сервисом и вычислить статистическую значимость автоматически.
P-значение < 0,001 в нашем примере свидетельствует о том, что при одинаковых тестовых группах вероятность увидеть наблюдаемую разницу чрезвычайно мала. Это говорит о том, что рост возвратов в первый день с высокой долей вероятности зависит от изменений продукта.
Часто задаваемые вопросы
Маркетинговые исследования статистики чаще всего проводятся путем A/B тестирования. О нем мы рассказали в одном из предыдущих разделов статьи. Однако при тестировании могут возникать некоторые трудности. Например, некорректное определение статистически значимого различия или невозможность определить, чем обусловлено различие. Решить подобные проблемы позволяет увеличение выборки и вариантов.
Оценка необходимости ранжирования данных статистики исключительно на основании статистической значимости может привести к серьезным ошибкам. Предпочтение лишь «значимых» результатов повышает риск искажения фактов.
В процессе тестирования регулярная проверка показателей с готовностью принять решение о завершении теста при обнаружении существенной разницы приводит к кумулятивному накоплению вероятных случайных моментов, при которых разница покидает пределы диапазона. В результате этого каждая новая проверка приводит к росту p-значения.
Заключение
Статистическая значимость является важным методом в ходе проведения экспериментов и исследований несмотря на риск ее неправильной интерпретации. При грамотном подходе погрешность можно свести к минимуму, используя значение в целях повышения достоверности результатов.
Олег Вершинин
Специалист по продукту
Все статьи автора
Нашли ошибку в тексте? Выделите нужный фрагмент и нажмите
ctrl
+
enter
Проверка статистических гипотез
- Понятие о статистической гипотезе
- Уровень значимости при проверке гипотезы
- Критическая область
- Простая гипотеза и критерии согласия
- Критерий согласия (X^2) Пирсона
- Примеры
п.1. Понятие о статистической гипотезе
Статистическая гипотеза – это предположение о виде распределения и свойствах случайной величины в наблюдаемой выборке данных.
Прежде всего, мы формулируем «рабочую» гипотезу. Желательно это делать не на основе полученных данных, а исходя из природы и свойств исследуемого явления.
Затем формулируется нулевая гипотеза (H_0), отвергающая нашу рабочую гипотезу.
Наша рабочая гипотеза при этом называется альтернативной гипотезой (H_1).
Получаем, что (H_0=overline{H_1}), т.е. нулевая и альтернативная гипотеза вместе составляют полную группу несовместных событий.
Основной принцип проверки гипотезы – доказательство «от противного», т.е. опровергнуть гипотезу (H_0) и тем самым доказать гипотезу (H_1).
В результате проверки гипотезы возможны 4 исхода:
| Верная гипотеза | |||
| (H_0) | (H_1) | ||
| Принятая гипотеза | (H_0) | True Negative (H_0) принята верно |
False Negative (H_0) принята неверно Ошибка 2-го рода |
| (H_1) | False Positive (H_0) отвергнута неверно (H_1) принята неверно Ошибка 1-го рода |
True Positive (H_0) отвергнута верно (H_1) принята верно |
Ошибка 1-го рода – «ложная тревога».
Ошибка 2-го рода – «пропуск события».
Например:
К врачу обращается человек с некоторой жалобой.
Гипотеза (H_1) – человек болен, гипотеза (H_0) – человек здоров.
True Negative – здорового человека признают здоровым
True Positive – больного человека признают больным
False Positive – здорового человека признают больным – «ложная тревога»
False Negative – больного человека признают здоровым – «пропуск события»
Уровень значимости при проверке гипотезы
Статистический тест (статистический критерий) – это строгое математическое правило, по которому гипотеза принимается или отвергается.
В статистике разработано множество критериев: критерии согласия, критерии нормальности, критерии сдвига, критерии выбросов и т.д.
Уровень значимости – это пороговая (критическая) вероятность ошибки 1-го рода, т.е. непринятия гипотезы (H_0), когда она верна («ложная тревога»).
Требуемый уровень значимости α задает критическое значение для статистического теста.
Например:
Уровень значимости α=0,05 означает, что допускается не более чем 5%-ая вероятность ошибки.
В результате статистического теста на конкретных данных получают эмпирический уровень значимости p. Чем меньше значение p, тем сильнее аргументы против гипотезы (H_0).
Обобщив практический опыт, можно сформулировать следующие рекомендации для оценки p и выбора критического значения α:
| Уровень значимости (p) |
Решение о гипотезе (H_0) | Вывод для гипотезы (H_1) |
| (pgt 0,1) | (H_0) не может быть отклонена | Статистически достоверные доказательства не обнаружены |
| (0,5lt pleq 0,1) | Истинность (H_0) сомнительна, неопределенность | Доказательства обнаружены на уровне статистической тенденции |
| (0,01lt pleq 0,05) | Отклонение (H_0), значимость | Обнаружены статистически достоверные (значимые) доказательства |
| (pleq 0,01) | Отклонение (H_0), высокая значимость | Доказательства обнаружены на высоком уровне значимости |
Здесь под «доказательствами» мы понимаем результаты наблюдений, свидетельствующие в пользу гипотезы (H_1).
Традиционно уровень значимости α=0,05 выбирается для небольших выборок, в которых велика вероятность ошибки 2-го рода. Для выборок с (ngeq 100) критический уровень снижают до α=0,01.
п.3. Критическая область
Критическая область – область выборочного пространства, при попадании в которую нулевая гипотеза отклоняется.
Требуемый уровень значимости α, который задается исследователем, определяет границу попадания в критическую область при верной нулевой гипотезе.
Различают 3 вида критических областей
Критическая область на чертежах заштрихована.
(K_{кр}=chi_{f(alpha)}) определяют границы критической области в зависимости от α.
Если эмпирическое значение критерия попадает в критическую область, гипотезу (H_0) отклоняют.
Пусть (K*) – эмпирическое значение критерия. Тогда:
(|K|gt K_{кр}) – гипотеза (H_0) отклоняется
(|K|leq K_{кр}) – гипотеза (H_0) не отклоняется
п.4. Простая гипотеза и критерии согласия
Пусть (x=left{x_1,x_2,…,x_nright}) – случайная выборка n объектов из множества (X), соответствующая неизвестной функции распределения (F(t)).
Простая гипотеза состоит в предположении, что неизвестная функция (F(t)) является совершенно конкретным вероятностным распределением на множестве (X).
Например: 
Глядя на полученные данные эксперимента (синие точки), можно выдвинуть следующую простую гипотезу:
(H_0): данные являются выборкой из равномерного распределения на отрезке [-1;1]
Критерий согласия проверяет, согласуется ли заданная выборка с заданным распределением или с другой выборкой.
К критериям согласия относятся:
- Критерий Колмогорова-Смирнова;
- Критерий (X^2) Пирсона;
- Критерий (omega^2) Смирнова-Крамера-фон Мизеса
п.5. Критерий согласия (X^2) Пирсона
Пусть (left{t_1,t_2,…,t_nright}) – независимые случайные величины, подчиняющиеся стандартному нормальному распределению N(0;1) (см. §63 данного справочника)
Тогда сумма квадратов этих величин: $$ x=t_1^2+t_2^2+⋯+t_n^2 $$ является случайной величиной, которая имеет распределение (X^2) с n степенями свободы.
График плотности распределения (X^2) при разных n имеет вид: 
С увеличением n распределение (X^2) стремится к нормальному (согласно центральной предельной теореме – см. §64 данного справочника).
Если мы:
1) выдвигаем простую гипотезу (H_0) о том, что полученные данные являются выборкой из некоторого закона распределения (f(x));
2) выбираем в качестве теста проверки гипотезы (H_0) критерий Пирсона, –
тогда определение критической области будет основано на распределении (X^2).
Заметим, что выдвижение основной гипотезы в качестве (H_0) при проведении этого теста исторически сложилось.
В этом случае критическая область правосторонняя.
Мы задаем уровень значимости α и находим критическое значение
(X_{кр}^2=X^2(alpha,k-r-1)), где k – число вариант в исследуемом ряду, r – число параметров предполагаемого распределения.
Для этого есть специальные таблицы.
Или используем функцию ХИ2ОБР(α,k-r-1) в MS Excel (она сразу считает нужный нам правый хвост). Например, при r=0 (для равномерного распределения):
Пусть нам дан вариационный ряд с экспериментальными частотами (f_i, i=overline{1,k}).
Пусть наша гипотеза (H_0) –данные являются выборкой из закона распределения с известной плотностью распределения (p(x)).
Тогда соответствующие «теоретические частоты» (m_i=Ap(x_i)), где (x_i) – значения вариант данного ряда, A – коэффициент, который в общем случае зависит от ряда (дискретный или непрерывный).
Находим значение статистического теста: $$ X_e^2=sum_{j=1}^kfrac{(f_i-m_i)^2}{m_i} $$ Если эмпирическое значение (X_e^2) окажется в критической области, гипотеза (H_0) отвергается.
(X_e^2geq X_{кр}^2) – закон распределения не подходит (гипотеза (H_0) не принимается)
(X_e^2lt X_{кр}^2) – закон распределения подходит (гипотеза (H_0) принимается)
Например:
В эксперименте 60 раз подбрасывают игральный кубик и получают следующие результаты:
| Очки, (x_i) | 1 | 2 | 3 | 4 | 5 | 6 |
| Частота, (f_i) | 8 | 12 | 13 | 7 | 12 | 8 |
Не является ли кубик фальшивым?
Если кубик не фальшивый, то справедлива гипотеза (H_0) – частота выпадений очков подчиняется равномерному распределению: $$ p_i=frac16, i=overline{1,6} $$ При N=60 экспериментах каждая сторона теоретически должна выпасть: $$ m_i=p_icdot N=frac16cdot 60=10 $$ по 10 раз.
Строим расчетную таблицу:
| (x_i) | 1 | 2 | 3 | 4 | 5 | 6 | ∑ |
| (f_i) | 8 | 12 | 13 | 7 | 12 | 8 | 60 |
| (m_i) | 10 | 10 | 10 | 10 | 10 | 10 | 60 |
| (f_i-m_i) | -2 | 2 | 3 | -3 | 2 | -2 | – |
| (frac{(f_i-m_i)^2}{m_i}) | 0,4 | 0,4 | 0,9 | 0,9 | 0,4 | 0,4 | 3,4 |
Значение теста: $$ X_e^2=3,4 $$ Для уровня значимости α=0,05, k=6 и r=0 находим критическое значение:
$$ X_{кр}^2approx 11,1 $$ Получается, что: $$ X_e^2lt X_{кр}^2 $$ На уровне значимости α=0,05 принимается гипотеза (H_0) про равномерное распределение.
Значит, с вероятностью 95% кубик не фальшивый.
п.6. Примеры
Пример 1. В эксперименте 72 раза подбрасывают игральный кубик и получают следующие результаты:
| Очки, (x_i) | 1 | 2 | 3 | 4 | 5 | 6 |
| Частота, (f_i) | 8 | 12 | 13 | 7 | 10 | 22 |
Не является ли кубик фальшивым?
Если кубик не фальшивый, то справедлива гипотеза (H_0) – частота выпадений очков подчиняется равномерному распределению: $$ p_i=frac16, i=overline{1,6} $$ При N=72 экспериментах каждая сторона теоретически должна выпасть: $$ m_i=p_icdot N=frac16cdot 72=12 $$ по 12 раз.
Строим расчетную таблицу:
| (x_i) | 1 | 2 | 3 | 4 | 5 | 6 | ∑ |
| (f_i) | 8 | 12 | 13 | 7 | 10 | 22 | 72 |
| (m_i) | 12 | 12 | 12 | 12 | 12 | 12 | 72 |
| (f_i-m_i) | -4 | 0 | 1 | -5 | -2 | 10 | – |
| (frac{(f_i-m_i)^2}{m_i}) | 1,333 | 0,000 | 0,083 | 2,083 | 0,333 | 8,333 | 12,167 |
Значение теста: $$ X_e^2=12,167 $$ Для уровня значимости α=0,05, k=6 и r=0 находим критическое значение:
$$ X_{кр}^2approx 11,1 $$ Получается, что: $$ X_e^2gt X_{кр}^2 $$ На уровне значимости α=0,05 гипотеза (H_0) про равномерное распределение не принимается.
Значит, с вероятностью 95% кубик фальшивый.
Пример 2. Во время Второй мировой войны Лондон подвергался частым бомбардировкам. Чтобы улучшить организацию обороны, город разделили на 576 прямоугольных участков, 24 ряда по 24 прямоугольника.
В течение некоторого времени были получены следующие данные по количеству попаданий на участки:
| Число попаданий, (x_i) | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| Количество участков, (f_i) | 229 | 211 | 93 | 35 | 7 | 0 | 0 | 1 |
Проверялась гипотеза (H_0) – стрельба случайна.
Если стрельба случайна, то попадание на участок должно иметь распределение, подчиняющееся «закону редких событий» – закону Пуассона с плотностью вероятности: $$ p(k)=frac{lambda^k}{k!}e^{-lambda} $$ где (k) – число попаданий. Чтобы получить значение (lambda), нужно посчитать математическое ожидание данного распределения.
Составим расчетную таблицу:
| (x_i) | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | ∑ |
| (f_i) | 229 | 211 | 93 | 35 | 7 | 0 | 0 | 1 | 576 |
| (x_if_i) | 0 | 211 | 186 | 105 | 28 | 0 | 0 | 7 | 537 |
$$ lambdaapprox M(x)=frac{sum x_if_i}{N}=frac{537}{576}approx 0,932 $$ Тогда теоретические частоты будут равны: $$ m_i=Ncdot p(k) $$ Получаем:
| (x_i) | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | ∑ |
| (f_i) | 229 | 211 | 93 | 35 | 7 | 0 | 0 | 1 | 576 |
| (p_i) | 0,39365 | 0,36700 | 0,17107 | 0,05316 | 0,01239 | 0,00231 | 0,00036 | 0,00005 | 0,99999 |
| (m_i) | 226,7 | 211,4 | 98,5 | 30,6 | 7,1 | 1,3 | 0,2 | 0,0 | 576,0 |
| (f_i-m_i) | 2,3 | -0,4 | -5,5 | 4,4 | -0,1 | -1,3 | -0,2 | 1,0 | – |
| (frac{(f_i-m_i)^2}{m_i}) (результат) | 0,02 | 0,00 | 0,31 | 0,63 | 0,00 | 1,33 | 0,21 | 34,34 | 36,84 |
Значение теста: (X_e^2=36,84)
Поскольку в ходе исследования мы нашли оценку для λ через подсчет выборочной средней, нужно уменьшить число степеней свободы на r=1, и критическое значение статистики искать для (X_{кр}^2=X^2(alpha,k-2)).
Для уровня значимости α=0,05 и k=8, r=1 находим:
(X_{кр}^2approx 12,59)
Получается, что: (X_e^2gt X_{кр}^2)
Гипотеза (H_0) не принимается.
Стрельба не случайна.
Пример 3. В предыдущем примере объединили события x={4;5;6;7} с редким числом попаданий:
| Число попаданий, (x_i) | 0 | 1 | 2 | 3 | 4-7 |
| Количество участков, (f_i) | 229 | 211 | 93 | 35 | 8 |
Проверялась гипотеза (H_0) – стрельба случайна.
Для последней объединенной варианты находим среднюю взвешенную: $$ x_5=frac{4cdot 7+5cdot 0+6cdot 0+7cdot 1}{7+1}=4,375 $$ Найдем оценку λ.
| (x_i) | 0 | 1 | 2 | 3 | 4,375 | ∑ |
| (f_i) | 229 | 211 | 93 | 35 | 8 | 576 |
| (x_if_i) | 0 | 211 | 186 | 105 | 35 | 537 |
$$ lambdaapprox M(x)=frac{sum x_if_i}{N}=frac{537}{576}approx 0,932 $$ Оценка не изменилась, что указывает на правильное определение средней для (x_5).
Строим расчетную таблицу для подсчета статистики:
| (x_i) | 0 | 1 | 2 | 3 | 4,375 | ∑ |
| (f_i) | 229 | 211 | 93 | 35 | 8 | 576 |
| (p_i) | 0,3937 | 0,3670 | 0,1711 | 0,0532 | 0,0121 | 0,9970 |
| (m_i) | 226,7 | 211,4 | 98,5 | 30,6 | 7,0 | 574,2 |
| (f_i-m_i) | 2,3 | -0,4 | -5,5 | 4,4 | 1,0 | – |
| (frac{(f_i-m_i)^2}{m_i}) | 0,02 | 0,00 | 0,31 | 0,63 | 0,16 | 1,12 |
Значение теста: (X_e^2=1,12)
Критическое значение статистики ищем в виде (X_{кр}^2=X^2(alpha,k-2)), где α=0,05 и k=5, r=1
(X_{кр}^2approx 7,81)
Получается, что: (X_e^2lt X_{кр}^2)
Гипотеза (H_0) принимается.
Стрельба случайна.
И какой же ответ верный? Полученный в Примере 2 или в Примере 3?
Если посмотреть в расчетную таблицу для статистики (X_e^2) в Примере 2, основной вклад внесло слагаемое для (x_i=7). Оно равно 34,34 и поэтому сумма (X_e^2=36,84) в итоге велика. А в расчетной таблице Примера 3 такого выброса нет. Для объединенной варианты (x_i=4,375) слагаемое статистики равно 0,16 и сумма (X_e^2=1,12) в итоге мала.
Правильный ответ – в Примере 3.
Стрельба случайна.
Загрузить PDF
Загрузить PDF
Проверка гипотез проводится с помощью статистического анализа. Статистическую значимость находят с помощью Р-значения, которое соответствует вероятности данного события при предположении, что некоторое утверждение (нулевая гипотеза) истинно.[1]
Если Р-значение меньше заданного уровня статистической значимости (обычно это 0,05), экспериментатор может смело заключить, что нулевая гипотеза неверна, и перейти к рассмотрению альтернативной гипотезы. С помощью t-критерия Стьюдента можно вычислить Р-значение и определить значимость для двух наборов данных.
-
1
Определите свою гипотезу. Первый шаг при оценке статистической значимости состоит в том, чтобы выбрать вопрос, ответ на который вы хотите получить, и сформулировать гипотезу. Гипотеза — это утверждение об экспериментальных данных, их распределении и свойствах. Для любого эксперимента существует как нулевая, так и альтернативная гипотеза.[2]
Вообще говоря, вам придется сравнивать два набора данных, чтобы определить, схожи они или различны.- Нулевая гипотеза (H0) обычно утверждает, что между двумя наборами данных нет разницы. Например: те ученики, которые читают материал перед занятиями, не получают более высокие оценки.
- Альтернативная гипотеза (Ha) противоположна нулевой гипотезе и представляет собой утверждение, которое нужно подтвердить с помощью экспериментальных данных. Например: те ученики, которые читают материал перед занятиями, получают более высокие оценки.
-
2
Установите уровень значимости, чтобы определить, насколько распределение данных должно отличаться от обычного, чтобы это можно было считать значимым результатом. Уровень значимости (его называют также
-уровнем) — это порог, который вы определяете для статистической значимости. Если Р-значение меньше уровня значимости или равно ему, данные считаются статистически значимыми.[3]
- Как правило, уровень значимости (значение ) принимается равным 0,05, и в этом случае вероятность обнаружения случайной разницы между разными наборами данных составляет всего лишь 5%.
- Чем выше уровень значимости (и, соответственно, меньше Р-значение), тем достовернее результаты.
- Если вы хотите получить более достоверные результаты, понизьте Р-значение до 0,01. Как правило, более низкие Р-значения используются в производстве, когда необходимо выявить брак в продукции. В этом случае требуется высокая достоверность, чтобы быть уверенным, что все детали работают так, как положено.
- Для большинства экспериментов с гипотезами достаточно принять уровень значимости равным 0,05.
- Как правило, уровень значимости (значение
-
3
Решите, какой критерий вы будете использовать: односторонний или двусторонний. Одно из предположений в t-критерии Стьюдента гласит, что данные распределены нормальным образом. Нормальное распределение представляет собой колоколообразную кривую с максимальным количеством результатов посередине кривой.[4]
t-критерий Стьюдента — это математический метод проверки данных, который позволяет установить, выпадают ли данные за пределы нормального распределения (больше, меньше, либо в “хвостах” кривой).- Если вы не уверены, находятся ли данные выше или ниже контрольной группы значений, используйте двусторонний критерий. Это позволит вам определить значимость в обоих направлениях.
- Если вы знаете, в каком направлении данные могут выйти за пределы нормального распределения, используйте односторонний критерий. В приведенном выше примере мы ожидаем, что оценки студентов повысятся, поэтому можно использовать односторонний критерий.
-
4
Определите объем выборки с помощью статистической мощности. Статистическая мощность исследования — это вероятность того, что при данном объеме выборки получится ожидаемый результат.[5]
Распространенный порог мощности (или β) составляет 80%. Анализ статистической мощности без каких-либо предварительных данных может представлять определенные сложности, поскольку требуется некоторая информация об ожидаемых средних значениях в каждой группе данных и об их стандартных отклонениях. Используйте для анализа статистической мощности онлайн-калькулятор, чтобы определить оптимальный объем выборки для ваших данных.[6]
- Обычно ученые проводят небольшое пробное исследование, которое позволяет получить данные для анализа статистической мощности и определить объем выборки, необходимый для более расширенного и полного исследования.
- Если у вас нет возможности провести пробное исследование, постарайтесь на основании литературных данных и результатов других людей оценить возможные средние значения. Возможно, это поможет вам определить оптимальный объем выборки.
Реклама
-
1
Запишите формулу для стандартного отклонения. Стандартное отклонение показывает, насколько велик разброс данных. Оно позволяет заключить, насколько близки данные, полученные на определенной выборке. На первый взгляд формула кажется довольно сложной, но приведенные ниже объяснения помогут понять ее. Формула имеет следующий вид: s = √∑((xi – µ)2/(N – 1)).
- s — стандартное отклонение;
- знак ∑ указывает на то, что следует сложить все полученные на выборке данные;
- xi соответствует i-му значению, то есть отдельному полученному результату;
- µ — это среднее значение для данной группы;
- N — общее число данных в выборке.
-
2
Найдите среднее значение в каждой группе. Чтобы вычислить стандартное отклонение, необходимо сначала найти среднее значение для каждой исследуемой группы. Среднее значение обозначается греческой буквой µ (мю). Чтобы найти среднее, просто сложите все полученные значения и поделите их на количество данных (объем выборки).[7]
- Например, чтобы найти среднюю оценку в группе тех учеников, которые изучают материал перед занятиями, рассмотрим небольшой набор данных. Для простоты используем набор из пяти точек: 90, 91, 85, 83 и 94.
- Сложим вместе все значения: 90 + 91 + 85 + 83 + 94 = 443.
- Поделим сумму на число значений, N = 5: 443/5 = 88,6.
- Таким образом, среднее значение для данной группы составляет 88,6.
-
3
Вычтите из среднего каждое полученное значение. Следующий шаг заключается в вычислении разницы (xi – µ). Для этого следует вычесть из найденной средней величины каждое полученное значение. В нашем примере необходимо найти пять разностей:
- (90 – 88,6), (91- 88,6), (85 – 88,6), (83 – 88,6) и (94 – 88,6).
- В результате получаем следующие значения: 1,4, 2,4, -3,6, -5,6 и 5,4.
-
4
Возведите в квадрат каждую полученную величину и сложите их вместе. Каждую из только что найденных величин следует возвести в квадрат. На этом шаге исчезнут все отрицательные значения. Если после данного шага у вас останутся отрицательные числа, значит, вы забыли возвести их в квадрат.
- Для нашего примера получаем 1,96, 5,76, 12,96, 31,36 и 29,16.
- Складываем полученные значения: 1,96 + 5,76 + 12,96 + 31,36 + 29,16 = 81,2.
-
5
Поделите на объем выборки минус 1. В формуле сумма делится на N – 1 из-за того, что мы не учитываем генеральную совокупность, а берем для оценки выборку из числа всех студентов.[8]
- Вычитаем: N – 1 = 5 – 1 = 4
- Делим: 81,2/4 = 20,3
-
6
Извлеките квадратный корень. После того как вы поделите сумму на объем выборки минус один, извлеките из найденного значения квадратный корень. Это последний шаг в вычислении стандартного отклонения. Есть статистические программы, которые после введения начальных данных производят все необходимые вычисления.
- В нашем примере стандартное отклонение оценок тех учеников, которые читают материал перед занятиями, составляет s =√20,3 = 4,51.
Реклама
-
1
Рассчитайте дисперсию между двумя группами данных. До этого шага мы рассматривали пример лишь для одной группы данных. Если вы хотите сравнить две группы, очевидно, следует взять данные для обеих групп. Вычислите стандартное отклонение для второй группы данных, а затем найдите дисперсию между двумя экспериментальными группами. Дисперсия вычисляется по следующей формуле: sd = √((s1/N1) + (s2/N2)).[9]
- sd — дисперсия между двумя группами.
- s1 — стандартное отклонение в группе 1, N1 — объем выборки в группе 1.
- s2 — стандартное отклонение в группе 2, N2 — объем выборки в группе 2.
- В нашем примере предположим, что объем выборки в группе 2 (учащиеся, которые не читают материал перед занятиями) равен 5, а стандартное отклонение составляет 5,81. Находим дисперсию:
- sd = √((s1)2/N1) + ((s2)2/N2))
- sd = √(((4,51)2/5) + ((5,81)2/5)) = √((20,34/5) + (33,76/5)) = √(4,07 + 6,75) = √10,82 = 3,29.
-
2
Найдите t-оценку данных. Эта величина дает возможность перевести данные в форму, которая позволяет сравнить их с другими данными. t-оценки позволяют проверить t-критерий и найти, насколько вероятности двух групп отличаются друг от друга. Для вычисления t-оценки используется следующая формула: t = (µ1 – µ2)/sd.[10]
- µ1 — среднее значение для первой группы.
- µ2 — среднее значение для второй группы.
- sd — дисперсия между двумя выборками.
- В качестве µ1 используйте большее среднее значение, чтобы t-оценка не получилась отрицательной.
- В нашем примере предположим, что среднее значение для группы 2 (те, кто не читает) составляет 80. Находим t-оценку: t = (µ1 – µ2)/sd = (88,6 – 80)/3,29 = 2,61.
-
3
Определите степень свободы сделанной выборки. В случае t-оценки степень свободы определяется по объему выборки. Сложите объемы двух выборок и вычтите из суммы 2. В нашем примере степень свободы (с.с.) равна 8, поскольку первая и вторая выборки содержат по пять значений: (5 + 5) – 2 = 8.[11]
-
4
Оцените значимость по таблице значений критерия Стьюдента (t-критерия). Эту таблицу [12]
и степени свободы можно найти в справочнике по статистике или интернете. Отыщите строку, в которой содержится найденная вами степень свободы, и определите соответствующее t-оценке Р-значение.- При степени свободы 8 и t-оценке 2,61 Р-значение для одностороннего критерия попадает между 0,01 и 0,025. Поскольку мы выбрали уровень значимости 0,05, наши данные являются статистически значимыми. Ввиду этого мы отказываемся от нулевой гипотезы и принимаем альтернативную гипотезу, которая гласит:[13]
те ученики, которые читают материал перед занятиями, получают более высокие оценки.
- При степени свободы 8 и t-оценке 2,61 Р-значение для одностороннего критерия попадает между 0,01 и 0,025. Поскольку мы выбрали уровень значимости 0,05, наши данные являются статистически значимыми. Ввиду этого мы отказываемся от нулевой гипотезы и принимаем альтернативную гипотезу, которая гласит:[13]
-
5
Подумайте о том, чтобы продолжить исследования. Многие ученые сначала проводят небольшое пробное исследование с малым количеством измерений, чтобы понять, как следует организовать более крупное исследование. Расширенное исследование с большим числом измерений позволит вам повысить достоверность сделанных выводов.
Реклама
Советы
- Статистика представляет собой обширную и сложную науку. Занятия на специализированных курсах статистики помогут вам лучше понять концепцию статистической значимости.
Реклама
Предупреждения
- Приведенный анализ относится к t-критерию, который позволяет оценить разницу между двумя группами данных с нормальным распределением. Для более сложных наборов данных могут понадобиться другие критерии и методы.
Реклама
Об этой статье
Эту страницу просматривали 67 304 раза.
Была ли эта статья полезной?
Валентина Николаевна Норина
Эксперт по предмету «Психология»
преподавательский стаж — 38 лет
Задать вопрос автору статьи
Статистическая значимость
Определение 1
Статистическая значимость – это величина переменной в статистике при малой вероятности случайного возникновения этой или более крайних величин.
Любое исследование предполагает выявление связей между переменными. Связь, как правило, характеризуется силой, направлением надежностью, которая определяется вероятностью её повторного обнаружения. При проведении эксперимента гипотезы проверяются с помощью статистического анализа.
Статистическая значимость является основным результатом проверки гипотезы и количественной оценкой надежности связи. Связь будет значительно надежнее при меньшей вероятности. Статистическая значимость результата исследования будет выше, чем меньше значение уровня значимости (p). При других равных условиях уровень значимости будет выше, если больше величина связи, меньшая изменчивость признака, больший объем выборки.
Сдай на права пока
учишься в ВУЗе
Вся теория в удобном приложении. Выбери инструктора и начни заниматься!
Получить скидку 3 000 ₽
Для определения уровня статистической значимости используется статистический критерий, который включает в себя формулу расчета, правило определения числа степеней свободы, теоретическое распределение степеней свободы, правило соотнесения эмпирического значения критерия для определения того, что вероятность альтернативной гипотезы верна.
Эмпирическое значение критерия получается в результате расчетов по результатам проведенного исследования.
Число степеней свободы представляет собой количество возможных направлений изменчивости признака. Возможные статистические ошибки могут быть первого и второго рода.
Под статистической ошибкой понимается неверное отклонение или принятие гипотезы.
Ошибка первого рода состоит в том, что была отклонена нулевая гипотеза, будучи верной.
Ошибка второго рода заключается в том, была принята нулевая гипотеза, оказавшаяся неверной.
Выбор статистического критерия связан с рядом условий, в частности он:
- зависит от шкалы, в которой измерен признак;
- зависит от количества групп для сравнения;
- зависит от типа групп;
- зависит от статистических задач, выводимых из экспериментальной гипотезы.
«Уровень значимости статистического критерия» 👇
Оценка статистической значимости
С помощью статистического анализа проверяются гипотезы при постановке эксперимента. Сначала необходимо определить свою гипотезу.
При оценке статистической значимости первым шагом будет являться вопрос, ответ на который необходимо получить и сформулировать гипотезу.
Гипотеза представляет собой утверждение об экспериментальных данных, их распределении и свойствах. В любом эксперименте могут существовать нулевые и альтернативные гипотезы. Для определения их схожести или различия, необходимо сравнивать два набора данных. Если нулевая гипотеза утверждает, что между двумя наборами данных разницы нет, то альтернативная гипотеза является противоположностью нулевой. Она представляет собой утверждение и его надо подтвердить с помощью экспериментальных данных. Например, если ученики повторяют материал перед занятием, то их оценки не будут более высокие – утверждает нулевая гипотеза, в то время как альтернативная гипотеза утверждает, что, прочитавшие материал перед занятиями получают более высокие оценки.
Во-вторых, надо установить уровень значимости. Это необходимо для того, чтобы определить, насколько распределение данных должно отличаться от обычного, чтобы считать их значимым результатом.
Уровень значимости является порогом, который определяется для статистической значимости.
Рисунок 1. Соотношение значимости и р-уровня. Автор24 — интернет-биржа студенческих работ
Если p-значение меньше уровня значимости или равное ему, то данные будут считаться статистически значимыми. Уровень значимости в основном принимается за 0,05, тогда вероятность обнаружения случайной разницы между разными наборами данных будет равна 5%. Если уровень значимости будет выше, то результаты будут более достоверными. При необходимости получения более достоверных результатов, нужно p-значение понизить до 0,01. Для основной части экспериментов с гипотезами уровень значимости достаточно принять равным 0,05.
Далее необходимо определить критерий, который может быть односторонним или двусторонним. В t-критерии Стьюдента, одно из предположений гласит, что данные распределены нормальным образом и представляют собой колоколообразную кривую, посередине которой находится максимальное количество результатов.
Критерий Стьюдента является математическим методом проверки данных и дает возможность установить, выпадают ли данные за пределы нормального распределения.
Двусторонний критерий используется, когда нет уверенности в том, находятся ли данные выше или ниже контрольной группы значений.
Односторонний критерий используется, когда известно, в каком направлении данные могут выйти за пределы нормального распределения.
В примере с учениками можно ожидать, что их оценки будут выше, поэтому используется односторонний критерий.
Вычисление стандартного отклонения
О разбросе данных говорит стандартное отклонение и позволяет заключить, насколько данные, полученные на определенной выборке, близки.
Для этого существует формула, общий вид которой выглядит так – s = √ ∑((xi – µ)2/(N – 1)), где:
- s — стандартное отклонение;
- ∑ – сумма всех полученных на выборке данных;
- xi – i-е значение, т. е. отдельный полученный результат;
- µ – среднее значение для данной группы;
- N – общее число данных в выборке.
Например, чтобы найти среднее значение оценки в группе учеников, повторяющих материал перед занятием, возьмем набор данных из пяти точек: 80, 81, 75, 73, 84, найдем их сумму, которая составит 393.
Далее сумму разделим на число значений (в нашем примере их 5) и получим 78,6, что и будет средним значением для данной группы.
Далее необходимо вычислить разницу (xi – µ), для этого из средней величины вычитаем каждое полученное значение.
В нашем примере надо найти пять разностей: (80-78,6), (81-78,6), (75-78,6), (73-78,6), (84-78,6).
Получаем следующие значения – 1,4; 2,4; -3,6; -5,6; 5,4.
Каждая найденная величина дальше возводится в квадрат, и все отрицательные значения исчезнут – в результате получаем 1,96; 5,76; 12,96; 31,36; 29,16.
Полученные значения суммируются 1,96 +5,76+12,96+31,36+29,16 = 81,2.
Далее полученная сумма делится на объем выборки за минусом единицы, потому что не учитывается генеральная совокупность, а для оценки берется выборка из числа всех учащихся.
Получаем N-1=5-1=4. Делим 81, 2:4=20,3.
Из найденного значения извлекается квадратный корень, что является последним шагом в вычислении стандартного отклонения. В нашем примере стандартное отклонение оценок учеников, повторяющих материал перед занятием, составляет s =√20,3 = 4,51.
Находи статьи и создавай свой список литературы по ГОСТу
Поиск по теме
Определение статистической значимости
Статистическая значимость – это вероятность того, что наблюдение не вызвано ошибкой выборки. Это подразумевает, что наблюдение имеет определенную причину. Следовательно, чтобы считать наблюдение статистически значимым, оно должно пройти тестирование.
Чтобы доказать статистическую значимость, набор данных должен отклонить нулевую гипотезу. Нулевая гипотеза. абсолютная истина и всегда прав. Таким образом, даже если выборка будет взята из генеральной совокупности, результат, полученный при изучении выборки, будет таким же, как и предположение. Читать далее. Чтобы доказать ошибочность нулевой гипотезы, p-значение наблюдения должно быть меньше уровня значимости. p-valueP-valueP-Value, или значение вероятности, является решающим фактором для нулевой гипотезы для вероятности того, что предполагаемый результат окажется истинным, будет принят или отклонен, и принятия альтернативного результата в случае отклонения предполагаемых результатов. . Читать дальше — это вероятность того, что наблюдение вызвано случайными факторами.
Оглавление
- Определение статистической значимости
- Понимание уровней статистической значимости
- Тест статистической значимости (P-значение)
- #1 – Статистическая проверка гипотез
- # 2 — Статистически значимое значение p
- Расчет статистической значимости
- Статистическая и практическая значимость
- Часто задаваемые вопросы (FAQ)
- Рекомендуемые статьи
- Статистическая значимость показывает, что наблюдение вызвано конкретной причиной, а не случайным фактором.
- Уровень значимости представлен α. Исследователь устанавливает его значения и обычно составляет 0,01, 0,05 или 0,1.
- Нулевая гипотеза предполагает, что исследование ложно. Однако альтернативная гипотеза, являющаяся предположением исследователя, может оказаться верной, отвергнув нулевую гипотезу.
- Условное значение α = 0,05. Следовательно, если значение p для набора данных ≤ 0,05, то результат статистически значим. Если p-значение > 0,05, то исследование может быть статистически незначимым.
Понимание уровней статистической значимости
Статистическая значимость широко применяется исследователями в качестве инструмента количественного исследования для принятия решений. Этот инструмент применяется в различных областях, таких как бизнес, маркетинг, реклама, инвестиции и финансы.
Следующие два фактора определяют значимость.
- Размер образца: Количество наблюдений в огромной степени влияет на уровень значимости. Большой набор данных (обязательно рандомизированная выборка) часто устраняет ошибку выборкиОшибка выборкиФормула ошибки выборки используется для расчета статистической ошибки, которая возникает, когда человек, проводящий тест, не выбирает выборку, которая представляет всю рассматриваемую совокупность. Формула для ошибки выборки = Z x (σ /√n)подробнее.
- Размер эффекта: Корреляция между двумя наборами данных или переменными называется размером эффекта. Больший эффект sizeEffect SizeEffect size измеряет интенсивность взаимосвязи между двумя наборами переменных или групп. Он рассчитывается путем деления разницы между средними значениями, относящимися к двум группам, на стандартное отклонение. Это статистическая концепция. Следовательно, она подразумевает, что два разных исследования показывают очень похожие значения. Больший размер эффекта указывает на то, что данные статистически более значимы.
Значение альфа (α) представляет собой статистическую значимость. Традиционное значение альфы составляет 0,05, что составляет 5%. Он служит 95% порогом значимости. Это означает, что вероятность точности результата составляет 95%.
Для достижения статистической значимости должно выполняться хотя бы одно из заданных условий:
- Значение p должно быть ниже значения альфа.
- Значения нулевой гипотезы не должны иметь места в доверительном интервале.
Доверительный интервал Доверительный интервал Доверительный интервал относится к степени неопределенности, связанной с конкретной статистикой, и часто используется вместе с пределом погрешности. Доверительный интервал = среднее значение выборки ± критический фактор × стандартное отклонение выборки. read more относится к гарантированному диапазону, в который попадают фактические значения. Для p-значения 0,05, то есть 5%, оставшиеся 95% считаются доверительным интервалом.
Например, в июне 2020 г. ОСИНА Испытание не достигло статистической значимости по своей основной конечной точке. Об этом сообщило агентство Рейтер.
Тест статистической значимости (P-значение)
Статистическая значимость включает в себя нахождение результата и его проверку. Набор данных должен успешно отвергнуть нулевую гипотезу.
#1 – Статистическая проверка гипотез
Гипотеза – это предположение исследователя. Исследователи предполагают, что они получат тот или иной результат еще до проведения теста. Это предположение основано на взаимосвязи между различными переменными или наборами данных.
Два типа гипотез, используемых для анализа данных, следующие:
- Нулевая гипотеза: Теперь, если теория, предложенная исследователями, неверна, гипотеза исследователя считается недействительной. Это обозначается H0.
- Альтернативная гипотеза: Однако, если теория исследователя оказывается верной, она называется альтернативной гипотезой. Обозначается H1.
# 2 — Статистически значимое значение p
Значение p обозначает значение вероятности, то есть вероятность результата, являющегося результатом случайности или совпадения, а не фактов. Таким образом, уровень статистической значимости можно анализировать с помощью p-значения, которое находится в диапазоне от 0 до 1. Статистический результат считается точным, когда p-значение равно или меньше 0,05. Другими словами, вероятность того, что данные были получены случайно или случайно, составляет всего 5%.
Таким образом, тестирование приведет к следующим двум возможностям.
- p-значение ≤ 0,05: значение p, равное или меньшее 0,05, указывает на то, что нулевая гипотеза, вероятно, ложна. Таким образом, есть шансы, что результат будет более статистически значимым.
- р-значение > 0,05: Напротив, значение, превышающее 0,05, означает, что нулевая гипотеза кажется вероятной, и результат может быть статистически незначимым.
Расчет статистической значимости
Рассмотрим следующую задачу на основе гипотетического сценария. Самуэль, владелец парка развлечений, хочет, чтобы гости проводили больше времени в парке. Среднее время, проведенное 20 посетителями парка, составляет 199 минут. Сэмюэл решает установить новые аттракционы. Для теста порог значимости принят равным 5%, среднее значение выборки равно 200 минутам, а стандартное отклонение равно 200 минутам. На основе полученных данных проведите тест значимости для Сэмюэля.
Данные:
- µ = 199 минут
- п = 20
- µ остается 199 минут до установки новых аттракционов
- µ > 199 минут после установки новых аттракционов
- α = 5% или 0,05
- х = 200 минут
- σ = 200 минут
Расчет
Мы будем применять z-тест здесь,
Z = (x̄ — μ) / √ (σ2 / n)
Z = (200 – 199) / √(200 / 20)
Z = 1/3,16228
Z = 0,31623 = 0,3
Теперь давайте определим z-оценку или p-значение для данной z-таблицы:
Z0,000,10,20,30,40,00,500000,503990,507980,511970,51595
Таким образом, p-значение равно 0,51197.
Здесь, p-значение > α, т.е.., 0,51197 > 0,05
Следовательно, нулевая гипотеза может быть верной, и результат не является статистически значимым.
В качестве альтернативы пользователи могут выбирать из различных онлайн-калькуляторов для проведения тестов значимости.
Статистическая и практическая значимость
Статистическая значимость исключает случайное совпадение и указывает на то, что данные являются результатом определенной причины. Однако практическая значимость обнаруживает величину этого эффекта и его актуальность в реальном мире.
В то время как исследователи используют размер выборки и p-значение для установления статистической значимости, размер эффекта наборов данных указывает на практическую значимость.
Таким образом, получение статистической значимости без определения практической значимости было бы не очень полезным.
Часто задаваемые вопросы (FAQ)
Что такое статистическая значимость в исследованиях?
Тесты значимости широко используются в научных, экономических и медицинских исследованиях для определения надежности результатов тестов путем анализа шансов на истинность нулевой гипотезы.
Как определить статистическую значимость?
Шаги для расчета значимости следующие.
1. Найдите нулевую и альтернативную гипотезы, т. е. H0 и H1.
2. Предположим порог значимости или уровень значимости (α).
3. Получите образец и данные для проведения теста.
4. Запустите статистические тесты, такие как z-тест, T-тест, ANOVA или Chi-Square.
5. Проверьте, являются ли данные статистически значимыми, определив p-значение.
6. Интерпретируйте результат или завершите исследование.
Почему значимо значение p, равное 0,05?
Значение p, равное 0,05, представляет собой альфа, т.е. порог статистической значимости. Это граница вероятности, поэтому любое значение, выходящее за ее пределы, считается статистически незначимым. Если p-значение превышает 5%, это указывает на то, что более 5% значений вызваны случайностью. В результате набор данных нельзя использовать в качестве существенного доказательства причинно-следственной связи.
Рекомендуемые статьи
Это было Руководство по статистической значимости и ее значению. Здесь мы обсуждаем тесты значимости (значение p) и то, как понять его уровни, а также примеры и расчеты. Вы также можете ознакомиться со следующими статьями, чтобы узнать больше:
- Проверка гипотезы
- Степени свободы
- Тест хи-квадрат в Excel
