Как найти ковариацию через мат ожидание

Двумерной называют случайную величину

, возможные значения
которой есть пары чисел

. Составляющие

 и

, рассматриваемые
одновременно, образуют систему двух случайных величин. Двумерную величину
геометрически можно истолковать как случайную точку

 на плоскости

 либо как случайный вектор

.

Дискретной называют двумерную величину, составляющие которой дискретны.

Закон распределения дискретной двумерной СВ.
Безусловные и условные законы распределения составляющих

Законом распределения вероятностей двумерной случайной величины называют соответствие
между возможными значениями и их вероятностями.

Закон
распределения дискретной двумерной случайной величины может быть задан:

а) в
виде таблицы с двойными входом, содержащей возможные значения и их вероятности;

б) аналитически, например в виде функции распределения.

Зная
закон распределения двумерной дискретной случайной величины, можно найти законы
каждой из составляющих. В общем случае, для того чтобы найти вероятность

, надо просуммировать
вероятности столбца

. Аналогично сложив
вероятности строки

 получим вероятность

.

Пусть
составляющие

 и

 дискретны и имеют соответственно следующие
возможные значения:

; 

.

Условным распределением составляющей

 при

 (j сохраняет одно и то же
значение при всех возможных значениях

) называют совокупность
условных вероятностей:

Аналогично
определяется условное распределение

.

Условные
вероятности составляющих

 и

 вычисляют соответственно по формулам:

Для
контроля вычислений целесообразно убедиться, что сумма вероятностей условного
распределения равна единице.

Ковариация (корреляционный момент)

Ковариация двух случайных величин характеризует степень зависимости случайных величин, так
и их рассеяние вокруг точки

.

Ковариацию
(корреляционный момент) можно найти по формуле:

Свойства ковариации

Свойство 1.

Ковариация двух независимых случайных величин равна нулю.

Свойство 2.

Ковариация двух случайных величин равна математическому ожиданию их
произведение математических ожиданий.

Свойство 3.

Ковариация двухмерной случайной величины по абсолютной случайной величине не
превосходит среднеквадратических отклонений своих компонентов.

Коэффициент корреляции

Коэффициент корреляции – отношение ковариации двухмерной случайной
величины к произведению среднеквадратических отклонений.

Формула коэффициента корреляции:

Две
случайные величины

 и

 называют коррелированными, если их коэффициент
корреляции отличен от нуля.

 и

 называют некоррелированными величинами, если
их коэффициент корреляции равен нулю

Свойства коэффициента корреляции

Свойство 1.

Коэффициент корреляции двух независимых случайных величин равен нулю. Отметим,
что обратное утверждение неверно.

Свойство 2.

Коэффициент корреляции двух случайных величин не превосходит по абсолютной
величине единицы.

Свойство 3.

Коэффициент корреляции двух случайных величин равен по модулю единице тогда и
только тогда, когда между величинами существует линейная функциональная
зависимость.

Линейная регрессия

Рассмотрим
двумерную случайную величину

, где

 и

 – зависимые случайные величины. Представим
одну из величины как функцию другой. Ограничимся приближенным представлением
величины

 в виде линейной функции величины

:

где

 и

 – параметры, подлежащие определению. Это можно
сделать различными способами и наиболее употребительный из них – метод
наименьших квадратов.

Линейная
средняя квадратическая регрессия

 на

 имеет вид:

Коэффициент

называют
коэффициентом регрессии

 на

, а прямую

называют
прямой среднеквадратической регрессии

 на

.

Аналогично
можно получить прямую среднеквадратической регрессии

 на

:

Смежные темы решебника:

• Двумерная непрерывная случайная величина
• Линейный выборочный коэффициент корреляции
• Парная линейная регрессия и метод наименьших квадратов

Задача 1

Закон
распределения дискретной двумерной случайной величины (X,Y) задан таблицей.

Требуется:

–
определить одномерные законы распределения случайных величин X и Y;

– найти
условные плотности распределения вероятностей величин;

–
вычислить математические ожидания m_x и m_y;

–
вычислить дисперсии σ_x и σ_y;

–
вычислить ковариацию μ_xy;

–
вычислить коэффициент корреляции r_xy.

xy	3	5	8	10	12
-1	0.04	0.04	0.03	0.03	0.01
1	0.04	0.07	0.06	0.05	0.03
3	0.05	0.08	0.09	0.08	0.05
6	0.03	0.04	0.04	0.06	0.08

---

Задача 2

Задана
дискретная двумерная случайная величина (X,Y).

а) найти
безусловные законы распределения составляющих; б) построить регрессию случайной
величины Y на X;  в) построить регрессию случайной величины X на Y;  г) найти коэффициент ковариации; д) найти
коэффициент корреляции.

Y	X
1	2	3	4	5
30	0.05	0.03	0.02	0.01	0.01
40	0.03	0.02	0.02	0.04	0.01
50	0.05	0.03	0.02	0.02	0.01
70	0.1	0.03	0.04	0.03	0.01
90	0.1	0.04	0.01	0.07	0.2

---

Задача 3

Двумерная случайная величина (X,Y) задана
таблицей распределения. Найти законы распределения X и Y, условные
законы, регрессию и линейную регрессию Y на X.

x y	1	2	3
1.5	0.03	0.02	0.02
2.9	0.06	0.13	0.03
4.1	0.4	0.07	0.02
5.6	0.15	0.06	0.01

---

Задача 4

Двумерная
случайная величина (X,Y) распределена по закону

XY	1	2
-3	0,1	0,2
0	0,2	0,3
-3	0	0,2

Найти
законы распределения случайных величины X и Y, условный закон
распределения Y при X=0 и вычислить ковариацию.
Исследовать зависимость случайной величины X и Y.

---

Задача 5

Случайные
величины ξ и η имеют следующий совместный закон распределения:

P(ξ=1,η=1)=0.14

P(ξ=1,η=2)=0.18

P(ξ=1,η=3)=0.16

P(ξ=2,η=1)=0.11

P(ξ=2,η=2)=0.2

P(ξ=2,η=3)=0.21

1)
Выписать одномерные законы распределения случайных величин ξ и η, вычислить
математические ожидания Mξ, Mη и дисперсии Dξ, Dη.

2) Найти
ковариацию cov(ξ,η) и коэффициент корреляции ρ(ξ,η).

3)
Выяснить, зависимы или нет события {η=1} и {ξ≥η}

4)
Составить условный закон распределения случайной величины γ=(ξ|η≥2) и найти Mγ и
Dγ.

---

Задача 6

Дан закон
распределения двумерной случайной величины (ξ,η):

	ξ=-1	ξ=0	ξ=2
η=1	0,1	0,1	0,1
η=2	0,1	0,2	0,1
η=3	0,1	0,1	0,1

1) Выписать одномерные законы
распределения случайных величин ξ и η, вычислить математические ожидания M_ξ,
M_η и дисперсии D_ξ, D_η

2) Найти ковариацию cov(ξ,η) и
коэффициент корреляции ρ(ξ,η).

3) Являются ли случайные события |ξ>0|
и |η> ξ | зависимыми?

4) Составить условный закон
распределения случайной величины γ=(ξ|η>0) и найти M_γ  и D_γ.

---

Задача 7

Дано
распределение случайного вектора (X,Y). Найти ковариацию X и Y.

XY	1	2	4
-2	0,25	0	0,25
1	0	0,25	0
3	0	0,25	0

---

Задача 8

Случайные
приращения цен акций двух компаний за день имеют совместное распределение,
заданное таблицей. Найти ковариацию этих случайных величин.

YX	-1	1
-1	0,4	0,1
1	0,2	0,3

---

Задача 9

Найдите
ковариацию Cov(X,Y) для случайного дискретного вектора (X,Y),
распределенного по закону:

	X=-3	X=0	X=1
Y=-2	0,3	?	0,1
Y=1	0,1	0,1	0,2

---

Задача 10

Совместный
закон распределения пары

 задан таблицей:

xh	-1	0	1
-1	1/12	1/4	1/6
1	1/4	1/12	1/6

Найти
закон распределения вероятностей случайной величины xh и вычислить cov(2x-3h,x+2h).
Исследовать вопрос о зависимости случайных величин x и h.

---

Задача 11

Составить двумерный закон распределения случайной
величины (X,Y), если известны законы независимых составляющих. Чему равен коэффициент
корреляции r_xy?

X	20	25	30	35
P	0.1	0.1	0.4	0.4

и

---

Задача 12

Задано
распределение вероятностей дискретной двумерной случайной величины (X,Y):

XY	0	1	2
-1	?	0,1	0,2
1	0,1	0,2	0,3

---

Задача 13

Совместное
распределение двух дискретных случайных величин ξ и η задано таблицей:

ξη	-1	1	2
0	1/7	2/7	1/7
1	1/7	1/7	1/7

Вычислить
ковариацию cov(ξ-η,η+5ξ). Зависимы ли ξ и η?

---

Задача 14

Рассчитать
коэффициенты ковариации и корреляции на основе заданного закона распределения
двумерной случайной величины и сделать выводы о тесноте связи между X и Y.

XY	2,3	2,9	3,1	3,4
0,2	0,15	0,15	0	0
2,8	0	0,25	0,05	0,01
3,3	0	0,09	0,2	0,1

---

Задача 15

Задан
закон распределения случайного вектора (ξ,η). Найдите ковариацию (ξ,η)
и коэффициент корреляции случайных величин.

xy	1	4
-10	0,1	0,2
0	0,3	0,1
20	0,2	0,1

---

Задача 16

Для
случайных величин, совместное распределение которых задано таблицей
распределения. Найти:

а) законы
распределения ее компонент и их числовые характеристики;

b) условные законы распределения СВ X при условии Y=b и СВ Y при
условии X=a, где a и b – наименьшие значения X и Y.

с)
ковариацию и коэффициент корреляции случайных величин X и Y;

d) составить матрицу ковариаций и матрицу корреляций;

e) вероятность попадания в область, ограниченную линиями y=16-x² и y=0.

f) установить, являются ли случайные величины X и Y зависимыми;
коррелированными.

XY	-1	0	1	2
-1	0	1/6	0	1/12
0	1/18	1/9	1/12	1/9
2	1/6	0	1/9	1/9

---

Задача 17

Совместный
закон распределения случайных величин X и Y задан таблицей:

XY	0	1	3
0	0,15	0,05	0,3
-1	0	0,15	0,1
-2	0,15	0	0,1

Найдите:

а) закон
распределения случайной величины X и закон распределения
случайной величины Y;

б) EX, EY, DX, DY, cov(2X+3Y, X-Y), а
также математическое ожидание и дисперсию случайной величины V=6X-8Y+3.

---

Задача 18

Известен
закон распределения двумерной случайной величины (X,Y).

а) найти
законы распределения составляющих и их числовые характеристики (M[X],D[X],M[Y],D[Y]);

б)
составить условные законы распределения составляющих и вычислить
соответствующие мат. ожидания;

в)
построить поле распределения и линию регрессии Y по X и X по Y;

г)
вычислить корреляционный момент (коэффициент ковариации) μ_xy и
коэффициент корреляции r_xy.

	5	20	35
100	—	—	0.05
115	—	0.2	0.15
130	0.15	0.35	—
145	0.1	—	—-

Ковариация

_{Характеристикой
зависимости между случайными величинами
X
и Y
служит математическое ожидание
произведения отклонений X
и Y от их
центров распределений (так иногда
называют математическое ожидание
случайной величины), которое называется
коэффициентом ковариации или просто
ковариацией.}

_{Cov(X;Y) = E((X–EX)(Y–EY))}

_{Пусть
X = x1,
x2,
x3,,
xn,
Y= y1,
y2,
y3,,yn.
Тогда}

_Cov(X;Y)=

_{Эту
формулу можно интерпретировать так.
Если при больших значениях Х
более вероятны большие значения Y,
а при малых значениях X
более вероятны малые значения Y,
то в правой части формулы ковариации
положительные слагаемые
доминируют, и ковариация принимает
положительные значения.}

_{Если
же более вероятны произведения
(xi – EX)(yj – EY),
состоящие из сомножителей разного
знака, то есть исходы случайного
эксперимента, приводящие к большим
значениям X
в основном приводят к малым значениям
Y и наоборот,
то ковариация принимает большие по
модулю отрицательные значения.}

_{В
первом случае принято говорить о прямой
связи: с ростом X
случайная величина Y
имеет тенденцию к возрастанию.}

_{Во
втором случае говорят об обратной связи:
с ростом X
случайная величина Y
имеет тенденцию к уменьшению или падению.}

_{Если
примерно одинаковый вклад в сумму дают
и положительные и отрицательные
произведения (xi – EX)(yj – EY)pij,
то можно сказать, что в сумме они будут
“гасить” друг друга и ковариация будет
близка к нулю. В этом случае не
просматривается зависимость одной
случайной величины от другой.}

_{Легко
показать, что если}

_{P((X = xi)∩(Y = yj)) = P(X = xi)P(Y = yj)
(i = 1,2,,n;
j = 1,2,,k),}

_{то
cov(X;Y)=
0.}

_{Действительно
из (2) следует}

_{Здесь
использовано очень важное свойство
математического ожидания: математическое
ожидание отклонения случайной величины
от ее математического ожидания равно
нулю.}

_{Ковариацию
удобно представлять в виде}

_{Cov(X;Y)=E(XY–XEY–YEX+EXEY)=E(XY)–E(XEY)–E(YEX)+E(EXEY)=}

_{=E(XY)–EXEY–EXEY+EXEY=E(XY)–EXEY}

_{Ковариация
двух случайных величин равна математическому
ожиданию их произведения минус
произведение математических ожиданий.}

_{Поскольку
для независимых случайных величин EXY
= EXEY,
то, очевидно, что для
независимых случайных величин X
и Y cov(X;Y)=0.}

Определение.
Случайные величины, ковариация которых
равна нулю, называют некоррелированными.

!!!
Замечание.
Как было
показано выше, из независимости случайных
величин следует их некоррелированность,
то есть равенство нулю корреляции.
Обратное
неверно! Рассмотрим
соответствующий пример:

Пусть
случайная величина Х имеет равномерное
распределение на интервале (-1, 1), а
случайная величина Y
связана со случайной величиной Х
функциональной зависимостью Y=X²
. Покажем, что cov
(X,Y)=0,
хотя налицо функциональная зависимость
.

Учитывая
, что ЕХ=0 (середина интервала (-1,1)),
получаем:

cov
(X,Y)=EXY-EXEY=EX³
=

Итак,
из некоррелированности случайных
величин не следует их независимость.

Ковариация
случайных величин отражает степень
близости зависимости случайных величин
к линейной, то есть, к зависимости вида
Y=aX+b.

Рассмотрим
теперь еще одну меру линейной зависимости
– коэффициент
корреляции
случайных величин Х и Y
r(X,Y)
=

Может
возникнуть вопрос, зачем вводить еще
одну меру линейной зависимости?

1. Коэффициент
   корреляции меняется от -1 до 1, а не по
   всей числовой оси

2. Коэффициент
   корреляции, в отличие от ковариации,
   нечувствителен к смене единиц измерения

3. Если
   случайные величины независимы, то
   коэффициент корреляции, как и ковариация,
   равен нулю.

4. Если
   случайные величины линейно зависимы,
   то r=1
   – прямая зависимость , r=-1,
   обратная. И наоборот, из равенства по
   модулю 1 следует линейная зависимость.

Пусть
распределение случайных величин задано
таблицей

ЕХ₁

ЕХ₂

DX₁
= EX₁
²
– (EX₁)²=
0,59

DX₂
= EX₂
²
– (EX₂)²=
0,2475

Cov
(X₁
,X₂
)= E (X₁
,X₂
)–E X₁
EX₂

E
(X₁
,X₂
) =

Замечание.
Ковариационная и корреляционная матрицы
– это таблицы, состоящие соответственно
из ковариаций и коэффициентов корреляций
соответствующих случайных величин.
(Заметим, что по главной диагонали
корреляционной матрицы стоят 1 –
случайная величина, очевидно, находится
сама с собой в линейной зависимости).
Используются эти матрицы для наглядного
представления данных о связи величин
и в статистике.

Соседние файлы в папке Модуль 1. Лекции

• #
• #
• #
• #
• #
• #
• #

Текущая версия страницы пока не проверялась опытными участниками и может значительно отличаться от версии, проверенной 13 апреля 2022 года; проверки требуют 8 правок.

Ковариа́ция или корреляционный момент случайных величин — в теории вероятностей и математической статистике мера зависимости двух случайных величин.

В теории вероятностей и статистике ковариация является мерой совместной изменчивости двух случайных величин. Если большие значения одной переменной в основном соответствуют большим значениям другой переменной, и то же самое верно для меньших значений (то есть переменные имеют тенденцию демонстрировать одинаковое поведение), ковариация положительна.В противоположном случае, когда большие значения одной переменной в основном соответствуют меньшим значениям другой (т. е. переменные имеют тенденцию показывать противоположное поведение), ковариация отрицательна. Таким образом, знак ковариации показывает тенденцию линейной зависимости между переменными. Величину ковариации нелегко интерпретировать, поскольку она не нормирована и, следовательно, зависит от величин переменных. Однако нормализованная версия ковариации, коэффициент корреляции, своей величиной показывает силу линейной зависимости.

Определение[править | править код]

Пусть  — две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:

,

где — математическое ожидание (в англоязычной литературе принято обозначение ).

Предполагается, что все математические ожидания в правой части данного выражения определены.

Замечания

Выборочный коэффициент ковариации[править | править код]

Пусть – выборка объёма ,  — выборка объёма и они порождены случайными величинами, определёнными на одном и том же вероятностном пространстве. Тогда выборочным коэффициентом ковариации является средняя величина произведений отклонений значений от средних значений соответствующих выборок^[1]:

,

где средние значения выборок (также называемые выборочными средними) определяют по формулам:

,

 .

Если раскрыть скобки и воспользоваться формулой для выборочного среднего, то:

.

Свойства[править | править код]

В частности, ковариация (в отличие от коэффициента корреляции) не инвариантна относительно смены масштаба, что не всегда удобно в приложениях.

Коэффициент корреляции[править | править код]

По абсолютному значению ковариации нельзя судить о том, насколько сильно величины взаимосвязаны, так как масштаб ковариации зависит от их дисперсий.
Значение ковариации можно нормировать, поделив её на произведение среднеквадратических отклонений (квадратных корней из дисперсий) случайных величин. Полученная величина называется коэффициентом корреляции Пирсона , который всегда находится в интервале от −1 до 1:

, где  — среднеквадратическое отклонение.

Соответственно,

^[2].

Случайные величины, имеющие нулевую ковариацию, называются некоррелированными. Независимые случайные величины всегда некоррелированы. Обратное утверждение не всегда выполняется. Оно справедливо для нормально распределенных случайных величин.

См. также[править | править код]

• Ковариационная матрица — обобщение понятия ковариации для векторов из случайных величин
• Корреляция
• Дисперсия случайной величины

Примечания[править | править код]

Ссылки[править | править код]

• Weisstein, Eric W. Covariance (англ.) на сайте Wolfram MathWorld.

Определение:

Пусть — две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда ковариацией случайных величин (англ. covariance) и называется выражение следующего вида: .

Вычисление

В силу линейности математического ожидания, ковариация может быть записана как:

Итого,

Свойства ковариации

• Ковариация симметрична:

.

• Пусть случайные величины, а их две произвольные линейные комбинации. Тогда

.

• Ковариация случайной величины с собой равна её дисперсии:

.

Утверждение:

Если , то и не обязательно являются независимыми

Неравенство Коши — Буняковского

Утверждение:

Докажем три аксиомы скалярного произведения: 1. Линейность по первому аргументу: Раскроем ковариацию по определению: В силу линейности математического ожидания: 2. Симметричность: 3. Положительная определенность: удовлетвотряет трем аксиомам, а значит можно использовать в качестве скалярного произведения.

Теорема (неравенство Коши — Буняковского):

Если принять в качестве скалярного произведения двух случайных величин ковариацию , то квадрат нормы случайной величины будет равен дисперсии и неравенство Коши-Буняковского запишется в виде: .

Доказательство:

Для этого предположим, что — некоторое вещественное число, и рассмотрим очевидное неравенство , где и . Используя линейность математического ожидания, мы получаем такое неравенство: Обратим внимание, что левая часть является квадратным трехчленом, зависимым от . Мы имеем: , и Итак, наш квадратный трехчлен выглядит следующим образом: Для того, чтобы неравенство выполнялось для всех значений , дискриминант должен быть неположительным, то есть:

Матрица ковариаций

Матрица ковариаций (англ. covariance matrix) — это матрица, элементы которой являются попарными ковариациями элементов одного или двух случайных векторов.
Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.

Определение:

Пусть — случайные вектора размерности и соответственно. — случайные величины. Тогда матрицей ковариаций векторов называется

Например, ковариационная матрица для случайного вектора выглядит следующим образом:

Замечание

• Если , то называется матрицей ковариации вектора и обозначается как — вариация (дисперсия) случайного вектора.

Свойства

• Матрица ковариации случайного вектора неотрицательно определена:
• Перестановка аргументов:
• Матрица ковариации аддитивна по каждому аргументу:

• Если , то

Расстояние Махаланобиса

Расстояние Махаланобиса (англ. Mahalanobis distance) — мера расстояния между векторами случайных величин, обобщающая понятие евклидова расстояния.

Определение:

Пусть — многомерный вектор, — матрица ковариации, тогда расстояние Махаланобиса от до множества со средним значением определяется как

Расстояние Махаланобиса двух случайных векторов с матрицей ковариации — это мера различия между ними.

Замечание

Если матрица ковариации равняется единичной матрице, то расстояние Махалонобиса равняется расстоянию Евклида.

См. также

• Корреляция случайных величин
• Дисперсия случайной величины

Источники информации

• НГУ — Ковариация двух случайных величин
• Википедия — Ковариация
• Википедия — Матрица ковариации
• Википедия — Расстояние Махалонобиса
• Википедия — неравенство Коши — Буняковского (доказательство)