Точечная оценка математического ожидания как найти

Содержание:

Точечные оценки:

Пусть случайная величина имеет неизвестную характеристику а. Такой характеристикой может быть, например, закон распределения, математическое ожидание, дисперсия, параметр закона распределения, вероятность определенного значения случайной величины и т.д. Пронаблюдаем случайную величину n раз и получим выборку из ее возможных значений

Существует два подхода к решению этой задачи. Можно по результатам наблюдений вычислить приближенное значение характеристики, а можно указать целый интервал ее значений, согласующихся с опытными данными. В первом случае говорят о точечной оценке, во втором – об интервальной.

Определение. Функция результатов наблюдений

Для одной и той же характеристики можно предложить разные точечные оценки. Необходимо иметь критерии сравнения оценок, для суждения об их качестве. Оценка как функция случайных результатов наблюдений сама является случайной величиной. Значения найденные по разным сериям наблюдений, могут отличаться от истинного значения характеристики в ту или другую сторону. Естественно потребовать, чтобы оценка систематически не завышала и не занижала оцениваемое значение, а с ростом числа наблюдений становилась более точной. Формализация названных требований приводит к следующим понятиям.

Определение. Оценка называется несмещенной, если ее математическое ожидание равно оцениваемой величине: В противном случае оценку называют смещенной.

Определение. Оценка называется состоятельной, если при увеличении числа наблюдений она сходится по вероятности к оцениваемой величине, т.е. для любого сколь угодно малого

 

Если известно, что оценка несмещенная, то для ее состоятельности достаточно, чтобы

Последнее условие удобно для проверки. В качестве меры разброса значений оценки относительно можно рассматривать величину Из двух оценок предпочтительней та, для которой эта величина меньше. Если оценка имеет наименьшую меру разброса среди всех оценок характеристики, построенных по наблюдениям, то оценку называют эффективной.

Следует отметить, что несмещенность и состоятельность являются желательными свойствами оценок, но не всегда разумно требовать наличия этих свойств у оценки. Например, может оказаться предпочтительней оценка хотя и обладающая небольшим смещением, но имеющая значительно меньший разброс значений, нежели несмещенная оценка. Более того, есть характеристики, для которых нет одновременно несмещенных и состоятельных оценок.

Оценки для математического ожидания и дисперсии

Пусть случайная величина имеет неизвестные математическое ожидание и дисперсию, причем Если – результаты независимых наблюдений случайной величины, то в качестве оценки для математического ожидания можно предложить среднее арифметическое наблюдаемых значений 

Несмещенность такой оценки следует из равенств

В силу независимости наблюдений 

При условии имеем что означает состоятельность оценки .

Доказано, что для математического ожидания нормально распределенной случайной величины оценка еще и эффективна.

Оценка математического ожидания посредством среднего арифметического наблюдаемых значений наводит на мысль предложить в качестве оценки для дисперсии величину

 

Преобразуем величину обозначая для краткости через

В силу (3.1.2) имеем Поэтому 

Последняя запись означает, что оценка имеет смещение. Она систематически занижает истинное значение дисперсии. Для получения несмещенной оценки введем поправку в виде множителя и полученную оценку обозначим через

Величина

 

является несмещенной и состоятельной оценкой дисперсии.

Пример:

Оценить математическое ожидание и дисперсию случайной величины Х по результатам ее независимых наблюдений: 7, 3, 4, 8, 4, 6, 3.

Решение. По формулам (3.1.1) и (3.1.3) имеем 

Ответ. 

Пример:

Данные 25 независимых наблюдений случайной величины представлены в сгруппированном виде:

Требуется оценить математическое ожидание и дисперсию этой случайной величины.

Решение. Представителем каждого интервала можно считать его середину. С учетом этого формулы (3.1.1) и (3.1.3) дают следующие оценки:

Ответ.  

Метод наибольшего правдоподобия для оценки параметров распределений

В теории вероятностей и ее приложениях часто приходится иметь дело с законами распределения, которые определяются некоторыми параметрами. В качестве примера можно назвать нормальный закон распределения Его параметры и имеют смысл математического ожидания и дисперсии соответственно. Их можно оценить с помощью и В общем случае параметры законов распределения не всегда напрямую связаны со значениями числовых 179 характеристик. Поэтому практический интерес представляет следующая задача.

Пусть случайная величина Х имеет функцию распределения причем тип функции распределения F известен, но неизвестно значение параметра По данным результатов наблюдений нужно оценить значение параметра. Параметр может быть и многомерным.

Продемонстрируем идею метода наибольшего правдоподобия на упрощенном примере. Пусть по результатам наблюдений, отмеченных на рис. 3.1.1 звездочками, нужно отдать предпочтение одной из двух функций плотности вероятности или  

Из рисунка видно, что при значении параметра такие результаты наблюдений маловероятны и вряд ли бы реализовались. При значении же эти результаты наблюдений вполне возможны. Поэтому значение параметра более правдоподобно, чем значение . Такая аргументация позволяет сформулировать принцип наибольшего правдоподобия: в качестве оценки параметра выбирается то его значение, при котором данные результаты наблюдений наиболее вероятны.

Этот принцип приводит к следующему способу действий. Пусть закон распределения случайной величины Х зависит от неизвестного значения параметра Обозначим через для непрерывной случайной величины плотность вероятности в точке а для дискретной случайной величины – вероятность того, что Если в независимых наблюдениях реализовались значения случайной величины то выражение

называют функцией правдоподобия. Величина зависит только от параметра при фиксированных результатах наблюдений При каждом значении параметра функция равна вероятности именно тех значений дискретной случайной величины, которые получены в процессе наблюдений. Для непрерывной случайной величины равна плотности вероятности в точке выборочного пространства

Сформулированный принцип предлагает в качестве оценки значения параметра выбрать такое при котором принимает наибольшее значение. Величина  будучи функцией от результатов наблюдений  называется оценкой наибольшего правдоподобия.

Во многих случаях, когда дифференцируема, оценка наибольшего правдоподобия находится как решение уравнения 

которое следует из необходимого условия экстремума. Поскольку  достигает максимума при том же значении , что и , то можно решать относительно эквивалентное уравнение

Это уравнение называют уравнением правдоподобия. Им пользоваться удобнее, чем уравнением (3.1.5), так как функция равна произведению, а – сумме, а дифференцировать проще.

Если параметров несколько (многомерный параметр), то следует взять частные производные от функции правдоподобия по всем параметрам, приравнять частные производные нулю и решить полученную систему уравнений.

Оценку, получаемую в результате поиска максимума функции правдоподобия, называют еще оценкой максимального правдоподобия.

Известно, что оценки максимального правдоподобия состоятельны. Кроме того, если для q существует эффективная оценка, то уравнение правдоподобия имеет единственное решение, совпадающее с этой оценкой. Оценка максимального правдоподобия может оказаться смещенной.

Метод моментов

Начальным моментом го порядка случайной величины Х называется математическое ожидание й степени этой величины, т.е.  Само математическое ожидание считается начальным моментом первого порядка.

Центральным моментом го порядка называется  Очевидно, что дисперсия – это центральный момент второго порядка. Если закон распределения случайной величины зависит от некоторых параметров, то от этих параметров зависят и моменты случайной величины.

Для оценки параметров распределения по методу моментов находят на основе опытных данных оценки моментов в количестве, равном числу оцениваемых параметров. Эти оценки приравнивают к соответствующим теоретическим моментам, величины которых выражены через параметры. Из полученной системы уравнений можно определить искомые оценки. 

Например, если Х имеет плотность распределения то 

Если воспользоваться величиной как оценкой для на основе опытных данных, то оценкой по методу моментов будет решение уравнения 

Пример:

Найти оценку параметра показательного закона распределения по методу моментов.

Решение. Плотность вероятности показательного закона распределения имеет вид Поэтому  Откуда 

Ответ. 

Пример:

Пусть имеется простейший поток событий неизвестной интенсивности . Для оценки параметра проведено наблюдение потока и зарегистрированы  – длительности последовательных интервалов времени между моментами наступления событий. Найти оценку для .

Решение. В простейшем потоке интервалы времени между последовательными моментами наступления событий потока имеют показательный закон распределения Так как плотность вероятности показательного закона распределения равна  то функция правдоподобия (3.1.4) имеет вид

Тогда   и уравнение правдоподобия  имеет решение 

При таком значении функция правдоподобия действительно достигает наибольшего значения, так как 

Ответ. 

Определение. Пусть  – результаты n независимых наблюдений случайной величины X. Если расставить эти результаты в порядке возрастания, то получится последовательность значений, которую называют вариационным рядом и обозначают: 

В этой записи  

Величины называют порядковыми статистиками.

Пример:

Случайная величина Х имеет равномерное распределение на отрезке где и неизвестны. Пусть  – результаты независимых наблюдений. Найти оценку параметра .

Решение. Функция плотности вероятности величины Х имеет вид

В этом случае функция правдоподобия от явно не зависит. Дифференцировать по такую функцию нельзя и нет возможности записать уравнение правдоподобия. Однако легко видеть, что  возрастает при уменьшении . Все результаты наблюдений лежат в  поэтому можно записать:

 

где – наименьший, а – наибольший из результатов наблюдений. При минимально возможном  

откуда или

Оценкой наибольшего правдоподобия для параметра будет величина

Ответ. 

Пример:

Случайная величина X имеет функцию распределения

где неизвестный параметр.

Пусть  – результаты независимых наблюдений случайной величины X. Требуется найти оценку наибольшего правдоподобия для параметра и найти оценку для M(X).

Решение. Для построения функции правдоподобия найдем сначала функцию плотности вероятности

 

Тогда функция правдоподобия: 

Логарифмическая функция правдоподобия: 

Уравнение правдоподобия

 

не имеет решений. Критических точек нет. Наибольшее и наименьшее значения находятся на границе допустимых значений .

По виду функции можно заключить, что значение тем больше, чем меньше величина . Но не может быть меньше Поэтому наиболее правдоподобное значение

Так как , то оценкой наибольшего правдоподобия для будет величина
Ответ.

Пример:

Случайная величина Х имеет нормальный закон распределения c неизвестными параметрами и  По результатам независимых наблюдений найти наиболее правдоподобные значения этих параметров.

Решение. В соответствии с (3.1.4) функция правдоподобия имеет вид 

а логарифмическая функция правдоподобия: 

Необходимые условия экстремума дают систему двух уравнений: 

Решения этой системы имеют вид: 

Отметим, что обе оценки являются состоятельными, причем оценка для несмещенная, а для смещенная (сравните с формулой (3.1.3)).

Ответ. 

Пример:

По данным эксперимента построен статистический ряд: 

Найти оценки математического ожидания, дисперсии и среднего квадратического отклонения случайной величины X.
Решение. 1) Число экспериментальных данных вычисляется по формуле:

Значит, объем выборки n = 50.

2) Вычислим среднее арифметическое значение эксперимента:

Значит, найдена оценка математического ожидания = 12,3.

3) Вычислим исправленную выборочную дисперсию:

Значит, найдена оценка дисперсии:  = 1,44.

5) Вычислим оценку среднего квадратического отклонения:

Ответ:

Пример:

По данным эксперимента построен статистический ряд: 

Найти оценки математического ожидания, дисперсии и среднего квадратического отклонения случайной величины X.
Решение. По формуле

перейдем к условным вариантам: 

Для них произведем расчет точечных оценок параметров:

Следовательно, вычисляем искомые точечные оценки: 

Ответ: 

Пример:

По данным эксперимента построен интервальный статистический ряд: 

Найти оценки математического ожидания, дисперсии и среднего квадратического отклонения.
Решение. 1) От интервального ряда перейдем к статистическому ряду, заменив интервалы их серединами  

2) Объем выборки вычислим по формуле:

3) Вычислим среднее арифметическое значений эксперимента:

3) Вычислим исправленную выборочную дисперсию:

Можно было воспользоваться следующей формулой:

5)  Вычислим оценку среднего квадратического отклонения: 

Ответ: 

Пример:

Найти доверительный интервал с надежностью 0,95 для оценки математического ожидания M(X) нормально распределенной случайной величины X, если известно среднее квадратическое отклонение σ = 2, оценка математического ожидания  объем выборки n = 25.
 

Решение. Доверительный интервал для истинного математического ожидания с доверительной вероятностью  = 0,95 при известной дисперсии σ находится по формуле:

где m = M(X) – истинное математическое ожидание; 𝑥̅ − оценка M(X) по выборке; n – объем выборки;  – находится по доверительной вероятности  = 0,95 из равенства:

Из табл. П 2.2 приложения 2 находим:  = 1,96. Следовательно, найден доверительный интервал для M(X): 

Ответ: (9,216 ; 10,784).

Пример:

По данным эксперимента построен статистический ряд: 

Найти доверительный интервал для математического ожидания M (X) с надежностью 0,95.
 

Решение. Воспользуемся формулой для доверительного интервала математического ожидания при неизвестной дисперсии:

где n – объем выборки; 𝑥̅ оценка M(X);  s – оценка среднего квадратического отклонения;   − находится по доверительной вероятности  = 0,95.

По числам  = 0,95 и n = 20 находим:  = 2,093.
Теперь вычисляем оценки для M(X) и D(X):

Следовательно, s ≈ 1,685. Поэтому искомый доверительный интервал математического ожидания задается формулой: 

Ответ: (– 0,76; 0,76).

Пример:

По данным десяти независимых измерений найдена оценка квадратического отклонения  = 0,5. Найти доверительный интервал точности измерительного прибора с надежностью 99 %.
 

Решение. Задача сводится к нахождению доверительного интервала для истинного квадратического отклонения, так как точность прибора характеризуется средним квадратическим отклонением случайных ошибок измерений.

Доверительный интервал для среднего квадратического отклонения находим по формуле:

где   = 0,5 − оценка среднего квадратического отклонения;  – число, определяемое из табл. П 2.4 приложения 2 по заданной доверительной вероятности   = 0,99 и заданному объему выборки  n = 10.
Находим:  
Тогда можно записать: 

Ответ: (0; 1,04).

1. Точечные оценки параметров распределения, их свойства

Имеется
некоторая СВ X,
значения которой мы называем генеральной
совокупностью, и которую мы на основании
выборочных значений мы должны изучить.
Если эта величина непрерывна, то она
имеет плотность распределения, если
дискретна – закон распределения. В
обоих случаях эта величина имеет функцию
распределения. Все эти функции зависят
от некоторых числовых параметров.

Точечной
оценкой параметра распределения
называется число, которое находится по
данным выборки.

.

Задача
точечной оценки состоит в том, чтобы
подобрать функцию, которая на основании
выборочных значений дала оценку
неизвестного параметра. Точечной
распределения оценкой может быть любое
число, если не уточнять какое отношение
эта оценка имеет к самому параметру.

Свойства
точечных оценок

Для
репрезентативности выборки, выборочные
значения должны быть независимыми СВ.
Значение независимых СВ, т.е значение
точечной оценки будет также случайной
величиной.

1. Точечная
   оценка называется несмещенной, если
   ее математическое ожидание равно
   оцениваемому параметру.
   

2. Точечная
   оценка называется эффективной, если
   ее дисперсия минимальна, по сравнению
   с дисперсиями других оценок, полученных
   на основании выборки того же объема.
   D

   → min

3. Оценка
   называется состоятельной, если она по
   вероятности сходится к оцениваемому
   параметру P(

   → Θ)
   →1

Таким
образом формулы точечных оценок
параметров распределения нужно выбирать
чтобы эта оценка обладала 3-мя свойствами,
т.е была не смещенной, эффективной и
состоятельной.

1. Точечная оценка математического ожидания, ее свойства

Точечной
оценкой математического ожидания
является выборочное среднее. Эта оценка
является несмещенной, состоятельной и
эффективной.

– выборочное
среднее.

Покажем,
что эта оценка является несмещенной

Далее
по теореме Чебышева, для любого ε>0
имеет место равенство

Которое
согласно условию теоремы можно переписать
так:

Или,
что то же самое,

,
согласно определению получаем, что

– состоятельная оценка Мx.

Также
она является и эффективной, т.е

Ели
СВ непрерывная, то результаты измерений
записываются в виде интервального
вариационного ряда. И при нахождении
выборочной средней в качестве значений
x_i
берут
середины интервалов.

1. Точечная оценка дисперсии, ее свойства

Для
оценки дисперсии используют выборочную
дисперсию:

Можно
доказать, что выборочная дисперсия
является смещенной оценкой генеральной
совокупности, поэтому при небольших
объемах выборки используют исправленную
выборочную дисперсию.

Обе
этих дисперсии являются состоятельными
и эффективными оценками генеральной
дисперсии. По аналогии с дисперсией СВ
можно показать, что выборочная дисперсия
равна выборочному среднему квадратов
значений выборки минус квадрат выборочного
среднего значения:

По
исправленной выборочной дисперсии
записывают оценку среднего квадратичного
отклонения.

1. Интервальные оценки. Доверительные вероятности

Оценка
неизвестного параметра называется
интервальной, если она определяется
двумя числами – концами интервала.

Доверительным
интервалом для оценки некоторого
параметра называется интервал со
случайными концами, который с данной
вероятностью γ покрывает неизвестные
значения этого параметра.

–доверительная
вероятность

Иногда
рассматривают число α = 1 – γ, которое
называют уровнем значимости. Подчеркнем,
что в формуле доверительного интервала
его концы – случайные величины.

Для
того чтобы найти доверительный интервал
для заданного параметра распределения,
необходимо знать закон распределения
точечной оценки соответствующего
параметра, поэтому доверительные
интервалы записываются для точечных
оценок конкретных законов распределения
и конкретных параметров.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Реферат

на тему «Точечные оценки»

по учебной дисциплине

«ОСНОВЫ МАТЕМАТИЧЕСКОЙ ОБРАБОТКИ ИНФОРМАЦИИ»

Выполнил(а):

Савкина Юлия Камильевна

2022 г

Оглавление

Введение

Статистика есть наука о том, как,

не умея мыслить и понимать,

заставить делать это цифры.

В. О. Ключевский

Математическая статистика – это наука, изучающая методы сбора и обработки статистической информации для получения научных и практических выводов.

Одной из центральных задач математической статистики является задача оценивания теоретического распределения случайной величины на основе выборочных данных. При этом часто предполагается, что вид закона распределения генеральной совокупности известен, но неизвестны параметры этого распределения, такие как математическое ожидание, дисперсия и др. Требуется найти приближенные значения этих параметров, то есть получить статистические оценки указанных параметров.

Основным методом математической статистики является выборочный метод, его суть состоит в исследовании представительной выборочной совокупности – для достоверной характеристики совокупности генеральной. Данный метод экономит временные, трудовые и материальные затраты, поскольку исследование всей совокупности зачастую затруднено или невозможно.

Для нахождения вида функции оценивания того или иного параметра используют один из следующих методов: 1) метод максимального правдоподобия; 2) метод моментов; 3) оценивание с помощью метода наименьших квадратов

Числовые характеристики, полученные по выборкам, называют статистическими оценками параметров. Различают два вида оценок параметров точечные и интервальные.

В данной работе речь пойдет именно о точечных оценках.

Глава 1. Основная часть

Основные понятия математической статистики

Введем основные понятия, связанные с выборками. Гене­ральной совокупностью называется совокупность объектов, из которых производится выборка. Выборочной совокупнос­тью (выборкой) называется совокупность случайно отобран­ных объектов из генеральной совокупности. Число объектов в совокупности называется ее объемом.

Числовые характеристики всей генеральной совокупности называются параметрами. Так как всю генеральную совокупность изучить достаточно часто не представляется возможным, о параметрах судят по выборочным характеристикам. На основании выборочных данных можно получить лишь приближенное значение параметра, которое является его оценкой.

Выборочная характеристика, используемая в качестве приближенного значения неизвестного параметра генеральной совокупности, называется точечной оценкой, т.к представляет собой число или точку на числовой оси.

Числовые характеристики выборки

По результатам выборочных наблюдений вычисляются такие статистические выборочные характеристики, как выборочные средняя, дисперсия, среднее квадратичное отклонение, коэффициент корреляции и т.д. Эти характеристики определяют соответствующие параметры генеральной совокупности.

Пусть x1, x2, …, xn – выборка из генеральной совокупности объёма n.

Выборочной средней (или средним значение выборки) называется среднее арифметическое значение признака выборочной совокупности.

Генеральная средняя для изучаемо­го количественного признака Х по генеральной совокупности

и выборочная средняя

Если все значения x1, x2, …, xn признака выборки объема n различны, то среднее значение выборки оценивается по формуле:

 . 

Для обозначения среднего значения выборки чаще всего используются обозначения   и  

Если значения признака Х1, X2, …, Хk в выборке имеют соответ­ственно частоты n1, n2, …, nk, то последнюю формулу можно переписать в виде

Математическое ожидание характеризует среднее значение случайной величины и определяется по формулам:

где mx обозначает число, полученное после вычислений по формуле (1.1); M[X] – оператор математического ожидания, ДСВ – дискретная случайная величина, НСВ – непрерывная случайная величина. Как видно из (1.1), в качестве математического ожидания используется «среднее взвешенное значение», причем каждое из значений случайной величины учитывается с «весом», пропорциональным вероятности этого значения.

Начальный момент k-го порядка случайной величины X есть математическое ожидание k-й степени этой случайной величины:

При k=0 значение α0(x) = M[X0] = M [1] = 1; при k=1 — α1(x) = M[X1] = M [Х] = mx – математическое ожидание; при k=2 — α2(x) = M[X2].

Центрированной случайной величиной Х° называется случайная величина, математическое ожидание которой находится в начале координат (в центре числовой оси), т.е. M[X°] = 0. Операция центрирования (переход от нецентрированной величины Х к центрированной X°) имеет вид X° =X − mX .

Центральный момент порядка k случайной величины X есть математическое ожидание k-й степени центрированной случайной величины X:

При k=0 значение 0(x)=M [X°0]=M [1]=1; при k=1 — 1(x)=M [X°1]=M [Х°] = 0; при k=2 — 2 (x)=M[X°2]= M [(X – mx)2]=M[X 2] – 2mx M [X ]+ mx2= α2 – mx2=Dx – дисперсия.

Дисперсия случайной величины характеризует степень рассеивания (разброса) значений случайной величины относительно ее математического ожидания и определяется по формулам:

Дисперсия выборки или выборочная дисперсия оценивается по (слегка измененной) формуле:

, где m*– среднее значение выборки. 

Дисперсия случайной величины имеет размерность квадрата случайной величины, поэтому для анализа диапазона значений величины Х дисперсия не совсем удобна. Этого недостатка лишено среднее квадратическое отклонение (СКО), размерность которого совпадает с размерностью случайной величины. Выборочным средним квадратичным отклонением (стандартом) называют квадратный корень из выборочной дисперсии:

Мода случайной величины равна ее наиболее вероятному значению, т.е. то значение, для которого вероятность pi (для дискретной случайной величины) или f(x) (для непрерывных случайной величины) достигает максимума: f (Mo) = max, p(X = Mo) = max.

Медиана случайной величины X равна такому ее значению, для которого выполняется условие p { X < Me } = p { X  Me }. Медиана, как правило, существует только для непрерывных случайных величин. Значение Me может быть определено как решение одного из следующих уравнений:

В точке Me площадь, ограниченная кривой распределения делится пополам.Медиана вычисляется следующим образом. Изучаемая выборка упорядочивается в порядке возрастания (N – объем выборки). Получаемая последовательность ak, где k=1,…, N называется вариационным рядом или порядковыми статистиками.

Если число наблюдений N нечетно, то медиана оценивается как m = aN+1/2

Если число наблюдений N четно, то медиана оценивается как m = ( aN/2 + aN/2+1 ) / 2

Квантиль хp случайной величины X – это такое ее значение, для которого выполняется условие

Очевидно, что медиана – это квантиль x0,5.

Свойства точечных оценок

Статистической оценкой Qˆ  неизвестного параметра Q теоретического распределения называется приближенное значение параметра, вычисленное по результатам эксперимента (по выборке). Статистические оценки делятся на точечные и интервальные. Точечной называется оценка, определяемая одним числом. Точечная оценка Qˆ параметра Q случайной величины X в общем случае равна

Очевидно, что оценка Qˆ – это случайная величина, так как она является функцией от n-мерной случайной величины (Х1, …, Хn), где Хi, – значение величины Х в i-м опыте, и значения будут изменяться от выборки к выборке случайным образом. Чтобы точечная оценка была наилучшей с точки зрения точности, необходимо, чтобы она была состоятельной, несмещенной и эффективной.

Оценка Qˆ называется состоятельной, если при увеличении объема выборки n она сходится по вероятности к значению параметра Q:

Состоятельность – это минимальное требование к оценкам.

Оценка Qˆ называется несмещенной, если ее математическое ожидание точно равно параметру Q для любого объема выборки:

Несмещенная оценка Qˆ является эффективной, если ее дисперсия минимальна по отношению к дисперсии любой другой оценки этого параметра:

Первые два требования к оценке являются обязательными, выполнение последнего требования – желательно.

Точечная оценка математического ожидания. На основании теоремы Чебышева в качестве состоятельной оценки математического ожидания может быть использовано среднее арифметическое значений выборки , называемое выборочным средним:

Определим числовые характеристики оценки .

т.е. оценка несмещенная.

Оценка (1.12) является эффективной, т.е. ее дисперсия минимальна, если величина X распределена по нормальному закону.

Состоятельная оценка начального момента k-го порядка определяется по формуле

Точечная оценка дисперсии. В качестве состоятельной оценки дисперсии может быть использовано среднее арифметическое квадратов отклонений значений выборки от выборочного среднего:

Определим математическое ожидание оценки S2. Так как дисперсия не зависит от того, где выбрать начало координат, выберем его в точке mX, т.е. перейдем к центрированным величинам:

Ковариация Kij =0, так как опыты, а, следовательно, и Хi − значение величины Х в i‑м опыте − независимы. Таким образом, величина является смещенной оценкой дисперсии, а несмещенная состоятельная оценка дисперсии равна:

Дисперсия величины S02 равна:

Для нормального закона распределения величины X формула (1.17) примет вид

Для равномерного закона распределения –

Состоятельная несмещенная оценка среднеквадратического отклонения определяется по формуле: (1.20)

Состоятельная оценка центрального момента k-го порядка равна:

Точечная оценка вероятности. На основании теоремы Бернулли несмещенная состоятельная и эффективная оценка вероятности случайного события A в схеме независимых опытов равна частоте этого события:

где m – число опытов, в которых произошло событие A; n – число проведенных опытов. Числовые характеристики оценки вероятности p*(A) = p* равны:

Среднее арифметическое х, выборочная дисперсия Дх, частость р – это точечные статистические оценки соответственно математического ожидания (генерального среднего) МХ, дисперсии (генеральной дисперсии) ДХ, истиной (генеральной) вероятности р. Чтобы не заблудиться в этом многообразии, удобно пользоваться таблицей 1, представленной ниже [3].

Методы построения точечных оценок

Выше мы рассматривали точечные оценки основных генеральных характеристик: математического ожидания, дисперсии, вероятности и др. Однако осталось неясным, каким образом получены эти оценки. В математической статистике разработано большое число методов оценивания неизвестных параметров по данным случайной выборки, из которых наиболее часто используются:

метод моментов1;

метод максимального правдоподобия2;

метод наименьших квадратов;

графический метод (или метод номограмм).

Рассмотрим первые два из них.

Метод моментов. Пусть имеется выборка {x1, …, xn} независимых значений случайной величины с известным законом распределения f(x, Q1 , …, Qm) и m неизвестными параметрами Q1, …, Qm. Необходимо вычислить оценки Qˆ1, …, Qˆm параметров Q1, …, Qm. Последовательность вычислений следующая:

Вычислить значения m начальных и/или центральных теоретических моментов

Определить m соответствующих выборочных начальных αkˆ(x) и/или центральных µkˆ(x) моментов по формулам (1.14, 1.21).

Составить и решить относительно неизвестных параметров Q1, …, Qm систему из m уравнений, в которых теоретические моменты приравниваются к выборочным моментам. Каждое уравнение имеет вид αk(x) =αkˆ(x) или µ k(x) = µ kˆ(x). Найденные корни являются оценками Q1ˆ, …, Qmˆ неизвестных параметров.

Замечание. Часть уравнений может содержать начальные моменты, а оставшаяся часть – центральные.

Метод максимального правдоподобия. Согласно данному методу оценки Qˆ1, …, Qˆm получаются из условия максимума по параметрам Q1, …, Qm положительной функции правдоподобия L ( x1, …, xn, Q1, …, Qm). Если случайная величина X непрерывна, а значения xi независимы, то функция правдоподобия равна

Если случайная величина X дискретна и принимает независимые значения xi с вероятностями p (X=xi) = pi ( xi, Q1, …, Qm), то функция правдоподобия равна

Система уравнений согласно этому методу может записываться в двух видах:

или

Найденные корни выбранной системы уравнений являются оценками Q1ˆ, …, Qmˆ неизвестных параметров Q1, …, Qm.

Как правило оценка максимального правдоподобия эффективнее оценки, полученной методом моментов, и более того, если существует несмещенная эффективная оценка параметра, то она будет получена методом максимального правдоподобия.

Глава 2. Практическая часть

Примеры вычисления точечных оценок

Пример 1. Найдем оценку для вероятности P наступления события A по данному числу m появления этого события в n испытаниях.

Решение. Воспользуемся методом максимального правдоподобия: в этом случае функция правдоподобия L равна L = Cnm P m (1–P) n–m.

Тогда ln (L) = ln Cnm  + m ln (P) + (n–m) ln (1 – P).

Уравнение для определения оценки:

Значит, оценкой методом максимального правдоподобия вероятности наступления события будет его относительная частота w.

Пример 2. Случайная величина X (число появлений события А в t независимых испытаниях) подчинена биномиальному закону распределения с неизвестным параметром р. Ниже приведено эмпирическое распределение числа появлений события в 10 опытах по 5 испытаний в каждом (в первой строке указано число xi  появлений события А в одном опыте; во второй строке указана частота ni  — количество опытов, в которых наблюдалось столько появлений события А).

Найти методом моментов точечную оценку параметра р биномиального распределения. Оценить вероятность p0=P(X=0).

Решение. Математическое ожидание биномиального распределения известно: MX = m p. Приравняв математическое ожидание к выборочному среднему, получим уравнение: , откуда . Для рассматриваемого примера имеем:

Если распределение определяется двумя параметрами, то для построения их оценок два теоретических момента приравнивают двум соответствующим эмпирическим моментам тех же порядков (обычно первым двум).

Пример 3. Для изучения генеральной совокупности относительно некоторого количественного признака была извлечена выборка:

Найти несмещенные оценки генеральной средней и генеральной дисперсии.

 Решение. Несмещенной оценкой генеральной средней является выборочная средняя:
.
Несмещенной оценкой генеральной дисперсии является исправленная выборочная дисперсия:

Ответ: 50; 2,57.

Пример 4. По выборке объема N=41 найдена смещенная оценка генеральной дисперсии DB=3. Найти несмещенную оценку дисперсии генеральной совокупности.

Решение. Смещенной оценкой генеральной дисперсии служит выборочная дисперсия

Несмещенной оценкой генеральной дисперсии является «исправленная дисперсия»

 или 

Таким образом, мы получаем искомую несмещенную оценку дисперсии генеральной совокупности:

Пример 5. Для анализа лингвистических терминологических систем взято 7 фрагментов по 250 терминоупотреблений из русских лингвистических текстов. После подсчёта в каждом фрагменте числа употреблений слова «лицо» получен следующий вариационный ряд: 1,1,3,4,9,10,12.

1) Определите по выборке несмещённую и состоятельную оценку математического ожидания М(Х) и дисперсии D(X) случайной величины Х – «число употреблений слова «лицо» в русских лингвистических текстах.

2) Найдите несмещённую, состоятельную и эффективную оценку вероятности события А= «слово лицо использовано более 5 раз».

Решение 

1) Несмещённая и состоятельная оценка М(Х) есть среднее выборочное.

Несмещённая и состоятельная оценка D(X) есть исправленная выборочная дисперсия:  

2) Несмещённой, состоятельной и эффективной оценкой вероятности события А= «слово лицо использовано более 5 раз» является частота этого события Р(А):

Пример 6. Выборка задана таблицей распределения

Найти выборочные характеристики: среднюю, дисперсию и среднее квадратическое отклонение.

Решение. Cначала находим в:

Затем по формулам находим две другие иско­мые величины:

Пример 7. Из 1500 деталей отобрано 250, распределение которых по размеру Х задано в таблице:

Найти точечные оценки для среднего и дисперсии, а также дисперсию оценки среднего при повторном и бесповторном отборах.

Решение. Вычислим по формулам (используем середины интервалов сi, число интервалов r=6, объем выборки n=250):

Вычислим дисперсию оценки среднего:

для повторной выборки:

для бесповторной выборки

Пример 8. Выборочно обследовали партию кирпича. Из 100 проб в 12 случаях кирпич оказался бракованным. Найти оценку доли бракованного кирпича и дисперсию этой оценки.

Решение. По условию задачи, число бракованных изделий m=12, объем выборки n=100, тогда оценкой доли бракованных является выборочная доля

Дисперсия этой оценки для повторной выборки равна

А среднее квадратическое отклонение этой оценки равно

Задачи подобраны таким образом, чтобы показать их разнообразную тематику и способы решений. Это и доказательство свойств точечной оценки, представление выборок разными способами и вычисление точечных оценок. Чтобы облегчить свою работу, можно воспользоваться таблицей 1 (см Приложение 1).

Заключение

Точечная оценка параметра – это оценка, которая характеризуется одним конкретным числом (например, математическим ожиданием, дисперсией, средним квадратичным отклонением и т.д.). Точечные оценки параметров генеральной совокупности могут быть приняты в качестве ориентировочных, первоначальных результатов обработки выборочных данных. Их основной недостаток заключается в том, что неизвестно, с какой точностью оценивается параметр. Если для выборок большого объема точность обычно бывает достаточной (при условии несмещенности, эффективности и состоятельности оценок), то для выборок небольшого объема вопрос точности становится очень важным. По этой причине при небольшом объеме выборки следует пользоваться интервальными оценками.

Решение задач математической статистики обусловливает существенный объем вычислений. Во избежание ошибок, можно воспользоваться инженерным калькулятором или выполнить вычисления с помощью офисного пакета MS Excel, в котором есть различные статистические функции и надстройки, в том числе и возможность решить задачи по теме «Анализ данных»

Список литературы

1. Гмурман, В. Е. Теория вероятностей и математическая статистика: учебник для прикладного бакалавриата / В. Е. Гмурман. — 12-е изд. — Москва: Издательство Юрайт, 2019. — 479 с. — (Бакалавр. Прикладной курс). — Текст: электронный // ЭБС Юрайт [сайт]. — URL: https://biblio-online.ru/bcode/431095.
2. Гмурман, В. Е. Руководство к решению задач по теории вероятностей и математической статистике: учебное пособие для бакалавриата и специалитета / В. Е. Гмурман. — 11-е изд., перераб. и доп. — Москва: Издательство Юрайт, 2019. — 406 с. — (Бакалавр и специалист). — Текст: электронный // ЭБС Юрайт [сайт]. — URL: https://biblio-online.ru/bcode/431094.
3. Малугин, В. А. Теория вероятностей и математическая статистика: учебник и практикум для вузов / В. А. Малугин. — Москва: Издательство Юрайт, 2022. — 470 с. — (Высшее образование). — Текст: электронный // ЭБС Юрайт [сайт]. — URL: https://urait.ru/viewer/teoriya-veroyatnostey-i-matematicheskaya-statistika-493318
4. Малугин, В. А. Математическая статистика: учебное пособие для бакалавриата и магистратуры / В. А. Малугин. — Москва: Издательство Юрайт, 2019. — 218 с. — (Бакалавр и магистр. Академический курс). — Текст: электронный // ЭБС Юрайт [сайт]. — URL: https://biblio-online.ru/bcode/441413.
5. Энатская, Н. Ю. Математическая статистика и случайные процессы: учебное пособие для вузов / Н. Ю. Энатская. — Москва: Издательство Юрайт, 2022. — 201 с. — (Высшее образование). — Текст: электронный // ЭБС Юрайт [сайт]. — URL: https://urait.ru/viewer/matematicheskaya-statistika-i-sluchaynye-processy-490096

Приложение 1

Таблица 1. Точечные оценки случайных величин

окончание таблицы 1

Таблица1. Точечные оценки случайных величин

1 Метод моментов был впервые предложен английским ученым, основателем математической статистики К. Пирсоном (1857-1936) в 1894 году.

1. Оценки математического ожидания

1) Оптимальной оценкой математического ожидания является выборочное среднее

$tilde{m}=bar{X}$.

Оценка является несмещённой, состоятельной, эффективной.

2) На практике нередко возникает необходимость быстрой оценки математического ожидания. Такой оценкой
может быть

$tilde{m}=frac{{{X}_{min }}+{{X}_{max }}}{2}$.

Оценка является состоятельной и, по крайней мере, асимптотически несмещённой и асимптотически эффективной.

3) В качестве оценки математического ожидания симметричного распределения может быть
использована выборочная медиана

$tilde{m}=x_{0,5}^{*}$.

Можно показать, что при больших объёмах выборки распределение статистики $X_{0,5}^{*}$ аппроксимируется
нормальным распределением $Nleft( m,sigmasqrt{frac{pi }{2n}} right)$. Таким образом, эффективность
выборочной медианы как оценки математического ожидания равна

$e(X_{0,5}^{*})=frac{1/{{I}_{n}}(m)}{pi {{sigma }^{2}}/2n}=frac{{{sigma }^{2}}/n}{pi {{sigma }^{2}}/2n}=frac{2}{pi }approx 64 %$.

Оценка является состоятельной, несмещённой, но неэффективной.

4) Рассмотрим две выборки объёмов n₁ и n₂ из одной генеральной
совокупности. Пусть ${{bar{X}}_{1}}$ и ${{bar{X}}_{2}}$ – выборочные средние. Тогда
агрегированная оценка математического ожидания генеральной совокупности:

$tilde{m}=frac{{{n}_{1}}{{{bar{X}}}_{1}}+{{n}_{2}}{{{bar{X}}}_{2}}}{{{n}_{1}}+{{n}_{2}}}$

является несмещённой, состоятельной, эффективной.

2. Оценки дисперсии

1) Оптимальной оценкой дисперсии является исправленная выборочная дисперсия:

${{tilde{sigma }}^{2}}=frac{1}{n-1}sumlimits_{i=1}^{n}{{{({{X}_{i}}-bar{X})}^{2}}}$.

Оценка является несмещённой, состоятельной, эффективной.

2) Выборочная дисперсия

${{tilde{sigma }}^{2}}=frac{1}{n}sumlimits_{i=1}^{n}{{{({{X}_{i}}-bar{X})}^{2}}}$.

Оценка является асимптотически несмещённой, состоятельной, асимптотически эффективной.

3) На практике нередко возникает необходимость быстрой оценки дисперсии. Такой оценкой может быть

${{tilde{sigma }}^{2}}={{left( frac{{{X}_{max }}-{{X}_{min }}}{5} right)}^{2}}$.

Оценка является грубой, для большинства распределений смещённой и неэффективной.

4) В случае если известно математическое ожидание m генеральной совокупности, оптимальной
оценкой дисперсии является статистика:

${{tilde{sigma }}^{2}}=frac{1}{n}sumlimits_{i=1}^{n}{{{({{X}_{i}}-m)}^{2}}}$.

Оценка является несмещённой, состоятельной, эффективной.

5) Рассмотрим две выборки объёмов n₁ и n₂ из одной генеральной
совокупности. Пусть $S_{1}^{2}$ и $S_{2}^{2}$ – исправленные выборочные дисперсии. Тогда
агрегированная оценка дисперсии генеральной совокупности

${{tilde{sigma }}^{2}}=frac{({{n}_{1}}-1)S_{1}^{2}+({{n}_{2}}-1)S_{2}^{2}}{{{n}_{1}}+{{n}_{2}}-2}$

является несмещённой, состоятельной, эффективной.

Точечные оценки параметров распределений

Точечная оценка математического ожидания
Пусть выборка из генеральной совокупности, соответствующей случайной величине x с неизвестным математическим ожиданием Mx =q  и известной дисперсией  .
Рассмотрим оценку неизвестного математического ожидания

.

Оценка несмещённая, поскольку её математическое ожидание равно Mx =q  :

,
Оценка состоятельная, поскольку при n®¥, :

.

Итак, для оценки неизвестного математического ожидания случайной величины будем использовать выборочное среднее: .

Точечная оценка дисперсии
Для дисперсии  случайной величины  можно предложить следующую оценку:

, где  — выборочное среднее.

Доказано, что эта оценка состоятельная, но смещенная.
В качестве состоятельной несмещенной оценки дисперсии используют величину

.

Именно несмещенностью оценки  объясняется ее более частое использование в качестве оценки дисперсии.