Корреляция цен как найти

Применяем корреляцию в ритейле

На данный момент система высшего образования свела математику до одноразового применения — сломать мозг студентов младших курсов непрофильных специальностей и благополучно выветрится к следующей сессии. Некоторые, правда, потом еще помнят что такие науки как математика и статистика это реальная сила, но мало кто это понимает и тем более применяет в своей деятельности.

В Datawiz.io, собрав несколько мат-гиков, мы решили попытаться изменить сложившуюся ситуацию. Интересно же использовать свои знания на чем-то реальном, измеримом, и даже, возможно, приносящем пользу обществу. Остановились мы на ритейл индустрии. Ритейл предлагает множество данных для обработки, просто водопад цифр: продажи, чеки, ценообразование, покупатели, программы лояльности,… Есть с чем порезвится.

Простая визуализация ритейл данных это тоже достаточно скучно. Традиционная аналитика может показать данные вчерашнего дня и выглядит круто в отчетах, но она никогда не покажет завтрашний день.

Модели машинного обучения действуют иначе. Они дают Вам возможности контроля и взаимодействия. Вы можете играть с моделями, изменять параметры и смотреть как это влияет на результат, изучать возможные последствия различных комбинаций факторов. Чем не общение с оракулом?

Начнем с простого.

Возможно ли определить продажи каких товаров могут влиять на общую выручку магазина?

Имеем исходные данные по двум магазинам, назовем их Гастроном и Универсам:
1. объем продаж товаров определенной категории;
2. количество упоминаний в чеках товаров определенной категории.

Составляем таблицы:
ряды — недели;
колонки — категории;
ячейки -количество проданных товаров или упоминаний в чеках.

Итого — 4 таблицы, по 2 на каждый магазин.

Сначала разберемся с корреляцией продаж. как влияют продажи товаров на общий оборот магазина и на продажи других категорий. Тут возможны 3 варианта развития событий.

Мы знаем что практически любой магазин продает большое количество молока. Примем гипотезу, что продажи молока и оборот магазина прямо коррелируются. Мы обозначим данные о продажах молока синим, а данные об обороте красным.

 plotPair <- function(x,y,namesX,namesY){  
  par(mfrow=c(2,1))
  plot(x,type='l',col='red',main=namesX,xlab='')
  plot(y,type='l',col='blue',main=namesY,xlab='')
  par(mfrow = c(3,2),
      oma = c(5,4,0,0) + 1,
      mar = c(0,0,1,1) + 1
  )
  layout(matrix(c(1,2,3,4,5,5), 3,2, byrow = TRUE))
  plot(x,type='l',col='blue',ylab='log sales qty',main=namesX,xlab='')
  plot(y,type='l',col='red',main=namesY,xlab='')
  hist(x,col='blue',main=names(x),breaks=20)
  hist(y,col='red',main=names(y),breaks=20)
  m<-lm(y~x)
  plot(x,y,xlab=namesX,ylab=namesY)
  abline(m,col='green',lwd=3)
  }
plotPair(x=moloko_df$Молоко.и.молочная.продукция',
y=moloko_df$sum,
namesX='Молоко.и.молочная.продукция',
namesY='Оборот') 

Сравним левый и правый графики, они практически одинаковы, что видно на рисунке.

На нижней диаграмме мы отобразили по горизонтали “Молоко и молочную продукцию”, а по вертикали “Оборот”, и тут так же мы можем наблюдать линейную зависимость. А значит наша гипотеза была верна.

Покупатели приходят в магазин за молоком, но так же покупают и другие товары, а значит для магазина выгодно привлекать покупателей даже за счет снижения цены на молочные продукты.

Но теперь нас интересует вопрос, как найти все товары подверженные корреляции, и как продажи товаров коррелируются с оборотом магазина? Используем корреляционную матрицу.

corr<-function(df){
  cr <-cor(df, use="complete.obs")
  par(cex = 0.9)
  corrplot.mixed(corr=cr,upper="ellipse", tl.pos="lt", col = colorpanel(50, "red", "gray60", "blue4"),
                 cl.cex=0.5,tl.cex=1.1)
}

Корреляция продаж товаров по Гастроному

*При построении матрицы корреляция близкая к нулю обозначается кругом и серым цветом (используя выбранную нами цветовую гамму), а магнитуда колебаний от нуля определяется эллипсом и его цветом: синий в случае позитивной корреляции, красный в случае негативной.

На основе матрицы можем выделить топ товаров, продажи которых коррелированы с оборотом магазина

Хлеб и хлебобулочные изделия 0.977
Непродовольственные товары 0.950
Молоко и молочная продукция 0.934
Колбасные изделия 0.930
Снеки 0.870
Табачные изделия 0.835
Кондитерские изделия 0.802
Диабетическое питание 0.794
Бакалея 0.782

По нашему опыту хлеб, пакеты (непродовольственные товары), молоко и колбасные изделия имеют высокий коэффициент корреляции практически в любом магазине мира. Каждый, кто приходит в магазин, как правило, покупает один или несколько из этих товаров. А вот снеки, табачные и кондитерские изделия отличаются в этом конкретном случае, значит у Гастронома есть покупатели которые приходят в магазин именно за этими группами товаров.

Теперь применим анализ по частоте упоминаний товаров в чеках — ориентированный на покупателя, а не товар, подход.

Корреляция частоты упоминаний товаров в чеках по Гастроному

Выделяем из этой матрицы топ частоты упоминаний товаров в чеках:

Хлеб и хлебобулочные изделия 0.986
Колбасные изделия 0.961
Непродовольственные товары 0.956
Молоко. и молочная продукция 0.944
Кондитерские изделия 0.867
Снеки 0.864
Табачные изделия 0.858
Мясо 0.829
Диабетическое питание 0.812

Как видим топ категорий и даже цифры по категориям остались практически те же.

Применим тот же подход ко второму магазину.

Корреляция продаж товаров по Универсаму

А вот тут мы уже видим существенную разницу с Гастрономом.

Матрица по Универсаму показывает другой топ продаж товаров:

Непродовольственные товары 0.966
Хлеб и хлебобулочные изделия 0.943
Молоко и молочная продукция 0.908
Диабетическое питание 0.882
Колбасные изделия 0.840
Безалкогольные напитки 0.837
Табачные изделия 0.835
Кондитерские изделия 0.775
Алкоголь 0.773

Корреляция частоты упоминаний товаров в чеках по Универсаму

Топ частоты упоминаний товаров в чеках по Универсаму:

Непродовольственные товары 0.975
Хлеб и хлебобулочные изделия 0.968
Молоко и молочная продукция 0.948
Колбасные изделия 0.927
Диабетическое питание 0.905
Кондитерские изделия 0.899
Табачные изделия 0.858
Безалкогольные напитки 0.819
Алкоголь 0.785

Как видим, в Универсаме в топ вошли 2 новые категории — Безалкогольные напитки и Алкоголь вместо Бакалеи и Снеков у Гастронома.
Возможно это зависит от местоположения магазинов и конкурентной среды.

Корреляционные матрицы дают нам широкие возможности для анализа.

На чем хотели бы заострить внимание, при анализе данных матриц стоит учитывать не только корреляцию (позитивную или негативную), не коррелируемые товары, так же стоит анализировать. Например, растительное масло не коррелируется как ни с одной другой категорией товаров, так и с общим оборотом магазина. Анализ чеков аналогично показывает, что есть покупатели который приходят в магазин исключительно за растительным маслом. А значит маркетолог может разместить его в торговом зале где угодно и покупатель все равно отыщет нужный ему товар.

Еще один аспект, некоторые товары имеют обратную корреляцию, как, например, рыба и снеки. Это легко объяснить тем, что люди, как правило, в зависимости от своих предпочтений берут либо пиво+снеки, либо пиво+рыбу. Очень редко кто-то покупает и рыбу и снеки одновременно. Схожая ситуацию с мороженой и свежей рыбой, мороженым и тортами.

Детальный анализ связей между товарами дает большое количество таких фактов, которые могут быть полезны.

Корреляционный анализ показывает текущую ситуацию, товары значительно влияющие на оборот магазина. Но какие из них являются наиболее значимыми? Это проще рассмотреть с помощью построения линейных моделей, что будет темой нашей следующей статьи.

Содержание

• Введение
• Понятие корреляции
• Виды корреляций
• Реализация индикаторов
• Торговая система на основе корреляций
• Тестирование торговой системы
• Выводы
• Заключение

Введение

Суть любой торговли, так или иначе сводится к тому, что приходится прогнозировать дальнейшее развитие событий на рынке и потенциальная прибыль сильно зависит от успешности прогноза. В начале своей статьи Торговые идеи на основе направления и скорости движения цен я описывал такую идею — каждое движение имеет такие характеристики как направление, ускорение и скорость. Это и касается движений цен на валютных и других рынках.

Любое движение имеет свои признаки начала движения, определенную скорость, инерционность и окончание. Успешными являются те торговые стратегии, которые максимально рано определяют начавшее движение и входят в рынок, а также четко идентифицируют его окончание. Тем не менее ни одна стратегия не может со стопроцентной вероятностью определить точки входа и выхода. Здесь мы может только говорить о благоприятном шансе, возможности. Поэтому в данной статье мы рассмотрим один из инструментов теории вероятности — корреляцию, которую будем применять в рамках финансовых рынков.

Понятие корреляции

Корреляция — это статистическая взаимосвязь двух или нескольких случайных величин (либо величин, которые можно с некоторой допустимой степенью точности считать таковыми). При этом изменения значений одной или нескольких из этих величин сопутствуют систематическому изменению значений другой или других величин. Математической мерой корреляции двух случайных величин является коэффициент корреляции. В случае, если изменение одной случайной величины не ведёт к закономерному изменению другой случайной величины, но приводит к изменению другой статистической характеристики данной случайной величины, то подобная связь не считается корреляционной, хотя и является статистической.

Коэффициент корреляции может принимать значения от -1 до +1. Чем ближе значение корреляции к 1, тем выше взаимосвязь исследуемых величин. Причем если значение стремится к 1, то связь считается положительной, а к -1 отрицательной. То есть при положительной, как правило, увеличение одной из исследованных величин влечет увеличение второй, а в случае отрицательной наоборот — увеличение одной снижает значение второй.

Иными словами, корреляция помогает идентифицировать зависимость одной величины от другой на основе имеющихся данных. Чем же может помочь корреляция на финансовых рынках? 

Давайте рассмотрим рис.1 и отмеченную зону нисходящего тренда.

Рис.1 Пример нисходящего тренда.

Как видно на отмеченной области, начиная со свечи №1, цена закрытия в подавляющем случае ниже, нежели цена открытия, или говоря по-другому — каждая следующая цена закрытия ниже предыдущей. Соответственно, с течением времени цена падает. В данном случае визуально видно, что происходит нисходящий тренд, но как же понять, насколько сильна зависимость? Тем более что тренд неидеален, и по свечам №№4,6,9 видно что небольшие попытки движения вверх были. Как же нам поможет корреляция? В данном случае ее коэффициент будет служить показателем силы текущего движения. Исходя из наблюдения за коэффициентом корреляции во времени можно делать сразу несколько выводов:

• Сила текущего тренда. Непосредственно по текущему значению корреляции.
• Длительность тренда. По наблюдениям во времени выбранного порогового значения. Например, порог более 0,75 и не спадает в течение 3-4 свечей.

Виды корреляций

Для определения связи между исследуемыми переменными виды корреляций могут быть следующими:

1. Линейные и нелинейные. Линейной называется корреляция, при которой одна величина увеличивается или убывает, при этом вторая также соответственно изменяется. При нелинейной зависимости изменение одной не приводит к прямому изменению другой и может описываться другими функциями.
2. Положительной и отрицательной корреляцией называется как раз характер зависимости. Так, при положительной рост одной из взаимосвязанных величин приводит к росту другой.

Примером может служить рис.1 где изображения линейная, отрицательная корреляция. Далее мы рассмотрим несколько видов расчета и выяснения взаимосвязи между двумя величинами.

Линейный коэффициент корреляции (коэффициент корреляции Пирсона)

Данный метод расчета позволяет установить прямую связь между переменными величинами по их абсолютным значениям. Расчет построен таким образом, что если взаимосвязь между величинами имеет линейный характер, то коэффициент Пирсона это покажет. В контексте финансовых рынков эта связь означала бы наличие движения в ту или иную сторону во времени. Для расчета коэффициента корреляции Пирсона применяется следующая формула:

А теперь в качестве примера рассчитаем коэффициент корреляции Пирсона для данных, представленных на рис.1, чтобы уже количественно измерить зависимость цен закрытия с течением времени. Для этого занесем данные в таблицу:

Весь расчет приведен на следующем рисунке.

Рис.2 Расчет коэффициента корреляции Пирсона.

Очередность расчета выглядит следующим образом:

1. Находим среднее значение цены(Price) и номера свечи. Это 1,22020 и 5,5 соответственно.
2. Находим для каждого вида переменных отклонение от среднего(столбцы 3-4). 
3. Значение -0,17928 сумма произведений отклонений цены и номера свечи. Это числитель формулы.
4. Столбцы 5 и 6 квадраты отклонений. Значения 0,02108 и 9,08295 это корни из суммы квадратов отклонений.
5. Знаменатель формулы или произведение корней сумм квадратов отклонений равен 0,19149. 
6. Коэффициент корреляции Пирсона получается -0,93623.

Исходя из полученных результатов можно сделать вывод, что в данном случае присутствует сильная линейная, отрицательная взаимосвязь.

Коэффициент ранговой корреляции Спирмена

Этот метод расчета позволяет устанавливать линейную связь между случайными величинами. Для оценки взаимосвязи используются не числовые значения исследуемых признаков, а соответствующие им ранги. Также как и коэффициент Спирмена, его величина лежит в пределах от -1 до 1. Абсолютное значение характеризует тесноту связи, а знак — направленность связи между двумя признаками. Рассчитывается он по формуле:

Где Di — разница рангов между исследуемыми признаками. Рассмотрим пример расчета ранговой корреляции на всё том же рис.1 и занесем показания в новую таблицу:

Как видно из таблицы, мы проранжировали значения цены закрытия, присвоив ранг 1 наименьшему значению и так далее. Согласно формуле рассчитаем разность рангов D исследуемых признаков и подставим полученные значения в формулу. 

Рис.3 Расчет коэффициента ранговой корреляции Спирмена.

Как видно из рис.3, мы находим разности рангов, затем квадраты полученных разностей и суммируем, получаем 320. Подставляем полученные значения в формулу и получаем результат -0,93939.

Исходя из полученного значения коэффициента корреляции, вывод всё тот же — сильная линейная, отрицательная взаимосвязь. В данном случае теснота связи получилась сопоставима коэффициенту корреляции Пирсона, но следует учитывать тот факт, что существует один недостаток расчета данного метода. Это то, что одинаковым разностям рангов могут соответствовать несопоставимые значения разностей значений. К примеру ранжирование баров сопоставимо, а вот значения рангов цены не равномерно, но разброс признака цена у нас небольшой и отличается на тысячные доли. Потому в данном случае метод расчета  уместен.

double Numerator(double &Ranks[],int N)
  {

   double Y[],dx[],dy[],mx=0.0,my=0.0,sum=0.0,sm=0.0;
   ArrayResize(Y,N);
   ArrayResize(dx,N);
   ArrayResize(dy,N);

   int n=N;
   for(int i=0; i<N; i++)
     {
      Y[i]=n;
      n--;
     }

   mx=Average(Y);
   my=Average(Ranks);

   for(int j=0;j<N;j++)
     {
      dx[j]=Y[j]-mx;
      dy[j]=Ranks[j]-my;
      sm+=dx[j]*dy[j];
     }
   return sm;
  }



double Denominator(double &Ranks[],int N)
  {

   double Y[],dx2[],dy2[],mx=0.0,my=0.0,sum=0.0,smx2=0.0,smy2=0.0;
   ArrayResize(Y,N);
   ArrayResize(dx2,N);
   ArrayResize(dy2,N);

   int n=N;
   for(int i=0; i<N; i++)
     {
      Y[i]=n;
      n--;
     }

   mx=Average(Y);
   my=Average(Ranks);

   for(int j=0;j<N;j++)
     {
      dx2[j]=MathPow(Y[j]-mx,2);
      dy2[j]=MathPow(Ranks[j]-my,2);
      smx2+=dx2[j];
      smy2+=dy2[j];
     }
   return(MathSqrt(smx2*smy2));
  }

int OnCalculate(const int rates_total,    
                const int prev_calculated,
                const int begin,          
                const double &price[]
                )

  {
   if(rates_total<rangeN+begin)
      return(0);
   int limit;

   if(prev_calculated>rates_total || prev_calculated<=0)
     {
      limit=rates_total-2-rangeN-begin;
      if(begin>0)
         PlotIndexSetInteger(0,PLOT_DRAW_BEGIN,rangeN+begin);
     }
   else
      limit=rates_total-prev_calculated;

   ArraySetAsSeries(price,true);

   for(int i=0; i<=limit; i++)
     {
      for(int k=0; k<rangeN; k++)
         PriceInt[k]=price[k+i];
      ExtLineBuffer[i]=PearsonCalc(PriceInt,rangeN);
     }

   return(rates_total);
  }




double PearsonCalc(double &Ranks[],int N)
  {
   double ch,zn;
   ch=Numerator(Ranks,N);
   zn=Denominator(Ranks,N);
   return (ch/zn);
  }

int OnCalculate(const int rates_total,    
                const int prev_calculated,
                const int begin,          
                const double &price[]
                )

  {
   if(rates_total<rangeN+begin)
      return(0);
   int limit;

   if(prev_calculated>rates_total || prev_calculated<=0)
     {
      limit=rates_total-2-rangeN-begin;
      if(begin>0)
         PlotIndexSetInteger(0,PLOT_DRAW_BEGIN,rangeN+begin);
     }
   else
      limit=rates_total-prev_calculated;

   ArraySetAsSeries(price,true);

   for(int i=limit; i>=0; i--)
     {
      for(int k=0; k<rangeN; k++)
         PriceInt[k]=int(price[i+k]*multiply);

      RankPrices(TrueRanks,PriceInt);
      ExtLineBuffer[i]=SpearmanCalc(R2,rangeN);
     }

   return(rates_total);
  }



double SpearmanCalc(double &Ranks[],int N)
  {

   double sumd2=0.0;

   for(int i=0; i<N; i++)
      sumd2+=MathPow(Ranks[i]-i-1,2);

   return(1-6*sumd2/(N*(MathPow(N,2)-1)));
  }

int OnCalculate(const int rates_total,    
                const int prev_calculated,
                const int begin,          
                const double &price[]
                )

  {
   if(rates_total<rangeN+begin)
      return(0);
   int limit;

   if(prev_calculated>rates_total || prev_calculated<=0)
     {
      limit=rates_total-2-rangeN-begin;

      if(begin>0)
         PlotIndexSetInteger(0,PLOT_DRAW_BEGIN,rangeN+begin);
     }
   else
      limit=rates_total-prev_calculated;

   ArraySetAsSeries(price,true);

   for(int i=0; i<=limit; i++)
     {
      for(int k=0; k<rangeN; k++)
         PriceInt[k]=price[k+i];
      ExtLineBuffer[i]=KendallCalc(PriceInt,rangeN);
     }

   return(rates_total);
  }



double KendallCalc(double &Ranks[],int N)
  {
   double Y[],t;
   ArrayResize(Y,N);

   int n=N;
   for(int i=0; i<N; i++)
     {
      Y[i]=n;
      n--;
     }
   MathCorrelationKendall(Ranks,Y,t);
   return (t);
  }

int OnCalculate(const int rates_total,    
                const int prev_calculated,
                const int begin,          
                const double &price[]
                )

  {
   if(rates_total<rangeN+begin)
      return(0);
   int limit;

   if(prev_calculated>rates_total || prev_calculated<=0)
     {
      limit=rates_total-2-rangeN-begin;
      if(begin>0)
         PlotIndexSetInteger(0,PLOT_DRAW_BEGIN,rangeN+begin);
     }
   else
      limit=rates_total-prev_calculated;

   ArraySetAsSeries(price,true);
   for(int i=0; i<=limit; i++)
     {
      for(int k=0; k<rangeN; k++)
         PriceInt[k]=price[k+i];
      ExtLineBuffer[i]=FechnerCalc(PriceInt,rangeN);
     }

   return(rates_total);
  }



double FechnerCalc(double &Ranks[],int N)
  {
   double Y[],res,mx,my,sum=0.0,markx[],marky[];
   double Na=0.0,Nb=0.0;
   ArrayResize(Y,N);
   ArrayResize(markx,N);
   ArrayResize(marky,N);

   int n=N;
   for(int i=0; i<N; i++)
     {
      Y[i]=n;
      n--;
     }

   mx=Average(Y);
   my=Average(Ranks);

   for(int j=0; j<N; j++)
     {
      markx[j]=(Y[j]>mx)?1:-1;
      marky[j]=(Ranks[j]>my)?1:-1;
      if(markx[j]==marky[j])
         Na++;
      else
         Nb++;
     }

   res=(Na-Nb)/(Na+Nb);
   return (res);
  }

enum Strategy_type
  {
   DECREASE = 1,           
   INCREASE                
  };



enum Corr_method
  {
   PEARSON = 1,            
   SPEARMAN,               
   KENDALL,                
   FECHNER                 
  };

input    string               Inp_EaComment="Correlation Strategy";        
input    double               Inp_Lot=0.01;                                
input    MarginMode           Inp_MMode=LOT;                               


input    Corr_method          Inp_Corr_method=1;                           
input    Strategy_type        Inp_Strategy_type=1;                         


input    string               Inp_Str_label="===EA parameters===";         
input    int                  Inp_MagicNum=1111;                           
input    int                  Inp_StopLoss=40;                             
input    int                  Inp_TakeProfit=60;                           

input    int                  Inp_RangeN=10;                               
input    double               Inp_KeyLevel=0.2;                            
input    ENUM_TIMEFRAMES      Inp_Timeframe=PERIOD_CURRENT;                

   if(Inp_KeyLevel>1 || Inp_KeyLevel<0)
     {
      Print(Inp_EaComment,": Incorrect key level!");
      return(INIT_FAILED);
     }

   switch(Inp_Corr_method)
     {
      case 1:
         ind_type="Correlation\PearsonCorrelation";
         break;
      case 2:
         ind_type="Correlation\SpearmanCorrelation";
         break;
      case 3:
         ind_type="Correlation\KendallCorrelation";
         break;
      case 4:
         ind_type="Correlation\FechnerCorrelation";
         break;
      default:
         break;
     }

   InpInd_Handle=iCustom(Symbol(),Inp_Timeframe,ind_type,Inp_RangeN);
   if(InpInd_Handle==INVALID_HANDLE)
     {
      Print(Inp_EaComment,": Failed to get indicator handle");
      Print("Handle = ",InpInd_Handle,"  error = ",GetLastError());
      return(INIT_FAILED);
     }

void OnTick()
  {


   if(!GetIndValue())
      return;

   if(!Trade.IsOpenedByMagic(Inp_MagicNum))
     {
      
      if(BuySignal())
         Trade.BuyPositionOpen(Symbol(),Inp_Lot,Inp_StopLoss,Inp_TakeProfit,Inp_MagicNum,Inp_EaComment);
      
      if(SellSignal())
         Trade.SellPositionOpen(Symbol(),Inp_Lot,Inp_StopLoss,Inp_TakeProfit,Inp_MagicNum,Inp_EaComment);
     }
  }



bool BuySignal()
  {
   bool res=false;
   if(Inp_Strategy_type==1)
      res=(corr[1]>Inp_KeyLevel && corr[0]<Inp_KeyLevel)?true:false;
   else if(Inp_Strategy_type==2)
      res=(corr[0]>Inp_KeyLevel && corr[1]<Inp_KeyLevel)?true:false;
   return res;
  }



bool SellSignal()
  {
   bool res=false;
   if(Inp_Strategy_type==1)
      res=(corr[1]<-Inp_KeyLevel && corr[0]>-Inp_KeyLevel)?true:false;
   else if(Inp_Strategy_type==2)
      res=(corr[0]<-Inp_KeyLevel && corr[1]>-Inp_KeyLevel)?true:false;
   return res;
  }

1. Коэффициент корреляции это лишь одна характеристика из множества параметров и не нужно переоценивать его значения

Приходящие с биржевых терминалов потоки ценовой информации указывают на наличие как хаотичного случайного компонента в поведении цен, так и неко- торой их согласованности с ценами других активов. Математическая статистика позволяет выявить эле- менты связности поведения временных рядов. Для этого можно проводить анализ Фурье или оценивать другие параметры. Наиболее удобным и простым является коэффициент регрессии (корреляции) К. Он часто используется для анализа степени связанности двух временных рядов. Этот коэффициент может быть определен для любых двух совокупностей (в том числе случайных) величин Xi и Yi, где i пробега- ет значения от 1 до n. По выборке длиной n можно определить эмпирической коэффициент корреляции, который определяется по следующей формуле:

K= , где Mx и Му – оценки математического ожидания случайных ве- личин {X} и {Y}, а – величины их среднеквадратичных отклонений. К изменяется в пределах (-1, 1).

Коэффициент корреляции оказывается равным едини- це для наборов двух величин X(ti) и Y(ti), значения которых синфазно изменяются со временем, таких как обозначенные буквами А и В синусоиды на рисунке 4. На серии рисунков 5 эти наборы зависимостей X(ti) и Y(ti) представлены в координатах (Х и У). Для проти- вофазных колебаний (кривые А и D) коэффициент корреляции равен -1. При смещении фазы одного из процессов коэффициент корреляции уменьшается, чтобы стать близким к нулю для ортогональных коле- баний sin(t) и cos(t) (кривые А и C). Аналогично, нулевую корреляцию обнаружим у колебаний с отли- чающимися в два раза периодами колебаний sin(t) sin(2t) (Кривые А и F). Коэффициент корреляции уменьшается и за счет «зашумления» колебаний двух разных процессов. Так, для синхронно колеблющихся кривых G и H, в которых имеется случайный шум, рассчитанный коэффициент корреляции оказывается уже меньшим единицы. Чаще именно подобное зашумленное поведение наблюдается для цен различных активов. Корреляция набора чисто случайных чисел Yi с любой зависимостью X(ti) будет стремиться к нулю по мере роста выборки, а «график» пар чисел X(ti) и Yi не будет давать даже намеков на зависимость, как это изображено на последнем графике для «зависимости» пар чисел Xi и Yi, где Xi бралось с верхней синусоидальной кривой А, а Yi считывалось с кривой I, представляющей собой набор равномерно распределенных случайных чисел.

2. Следует помнить о возможной точности определения корреляции

В рыночных зависимостях кроме детерминированных компо- нент, которые приводят к часто наблюдаемой связанности их поведения, присутствуют также другие слагаемые, которые можно трактовать как «число случайные». Случайные слагае- мые тоже дают вклад в определяемый коэффициент корреляции К. Так, при расчете К для конечной выборки раз- мером N между двумя наборами Xi и Yi случайных величин, равномерно распределенных на интервале (0-1), тоже будут получаться отличные от нуля значения. Значение Кj(250) (для выборки размером 250 пар) будет зависеть от номера j самой выборки. Коэффициент корреляции К будет случайной вели- чиной, реализации которого Kj согласно закону больших чисел оказываются распределенными по нормальному закону. На представленном рисунке видим, как изменялись коэффициен- ты корреляций Кj(250) между выборками по 250 пар случайных величин для тысячи реализаций (j=1,2,3…1000). Среднеквадратичное отклонение ?? случайной величины К (250) близко к 0,062, а значит, что в 77% случаев эмпирическое значение коэффициента корреляции Кj(250) для 250 пар случайных величин будет находиться в пределах ±2??. (Ли- нии ±0,124 приведены на рисунке). А за пределы 3*?? (±0,186) случайная величина Кj(250) будет выходить только в 1,35% случаев. Таким образом, значе- ние К(250) для набора 250 пар чисел, большее по модулю 0,2, скорее всего, не может быть связанным со случайными обстоятельствами, и для временных рядов с К>0,2 приходится отбрасывать идею об их случайном изменении и можно ис- кать возможные причины их коррелированного поведения. Для нормально распределения Kj(N) величина ?? обратно пропорциональна квадратному корню из размера выборки N. Поэтому для выборки размером в 1000 пар случайных чисел ?? уменьшится в два раза по сравнению с выборкой из 250 пар случайных чисел, а выборки меньшей в четыре раза, размером в 62 пары точек ??, напротив, вырастет в два раза. Если считать, что в цене акций имеется заданный детерминированный компонент и случайное слагаемое, то увеличивая объем выборки можно уменьшить добавку в коэффициент корреляции, которая возникает за счет случайного слагаемого. В случае временного ряда, для сниже- ния вклада случайных компонентов нужно увеличивать период, с которого берутся используемые точки. Однако слишком увеличивать период исследования тоже нельзя, поскольку на большом интервале вполне может изменяться характер согласованности кривых. Понятно, что с помощью коэффициента корреляции оценивается только среднее значение корреляции за период. Поэтому в качестве окна изучения чаще всего используют годовой интервал, дающий с учетом выходных и праздничных нера- бочих дней около 250 дневных цен закрытия. Выбирая годовой интервал, следует помнить, что в полученном коэффициенте корреляции К(250) могут давать вклад случайные компоненты цены, величина которого на выборке в 250 точек легко может составлять ±0,1, а в отдельных (пусть и редких) случаях дос- тигать даже ±0,2. Поэтому реально при вычислении коэффициента корреляции на годовом интервале есть смысл удерживать только одну значащую цифру по- сле запятой, а все остальное может быть связано со статистическими погрешностями. Если же коэффициент корреляции К(250) оказывается меньшим 10%, то о взаимосвязи исходных величин лучше не думать. (Нет смысла искать неслучайных вещей там, где доминирует случайность).

3. Корреляции индексов

С учетом приведенной выше оценки точности можно рассчитать коэффициенты корреляции потенциально наиболее значимых для индекса РТС величин. На приведенном рисунке изображены относительные изменения индекса РТС, американского индекса S&P 500, японского Nikkei225 и французского CAC40. Оказывается, что в последний год коэффициент кор- реляции индекса РТС с указанными индексами составлял отрицательную величину. (Значения К для РТС с указанными выше индексами приведены в подписях к кривым на рисунке). Отрицательной величина корреляции становится за счет длительных периодов разнонаправленных движений индексов. Так, индекс РТС в первой половине года снижался, в то время как индексы указанных стран показывали рост. Особенно сильно подрос индекс N225, что и дало высокий отрицательный коэффициент К. По- ложительным коэффициент корреляции (из приведенных кривых) оказался только для цен нефти марки Brent. Хотя коэффициент К с нефтью +0,6 оказывается не столь высоким, как это можно было бы предположить, с учетом зависимости нашей эко- номики от цен на это сырье.

Из приведенной Таблицы 1 попарных корреляций видим, что указанные активы распределяются на две группы. В одной располагаются индексы развитых стран, которые имеют между собой достаточно высокие положительные значения по- парной корреляции. Так, коэффициент корреляции индекса S&P 500 и индекса САС 40 очень высок и составляет +0,9. В то время как коэффициенты корреля- ции с индексами стран BRICS для них оказываются отрицательными.
В другую группу выделяются индексы стран BRICS. На совместном графике относительных изменений индексов хорошо видно их согласованное поведение. Коэффициент корреляции РТС с индексами Китая и Бразилии оказывается даже чуть большим, чем зави- симость индекса РТС от цен нефти. Это указывает на достаточно высокую связанность поведения индексов стран BRICS. Из приведенных на двух рисунках кривых и коэффи- циентов корреляции этих кривых с индексом РТС можно сделать предположение, что на годовом гори- зонте решение об инвестировании в фондовый рынок России, Бразилии и Китая набором основных инве- сторов, определявших динамику индексов, принимались по схожим соображениям. Аналогично, как и решения об инвестировании в рынки США, Японии и Франции.

4. Корреляции приращений цен

Важно обратить внимание еще на одну важную осо- бенность. Для спекулянта гораздо большее значение имеет не корреляция цен акций, но корреляция днев- ных изменений цен. А это совсем не одно и то же. На рисунке 9. представлены три модельных графика. Каждый из них представляет сумму длиннопериод- ной синусоиды (годовые изменения) с соответствующей добавкой. А вот добавка для трех графиков разная. Для графика А – это «недельная» синусоида с периодом в 5 дней. Для графика В и С – недельная синусоида имеет отрицательный знак, так что на графиках А она находится в противофазе с добавкой на графиках В и С. На графике С, кроме того, имеется случайная добавка. Амплитуды всех добавок выбраны равной пятой части амплитуды основного колебания. Попарные коэффициенты кор- реляции кривых, несмотря на добавки, близки к единице и равны КА-В=+0,92; КА-С=+0,9; КB-С= + 0,9.

А вот для «дневных приращений цены», приведенных на втором графике картина, совсем иная. Точки на кривых А, В, С на рис. 10 получены в результате вычисления разностей последовательных по времени значений на кривых рис.9: Арис.10=Арис.9(t)-A рис.9(t-?t). Как видим, дневные приращения цен гораздо меньше зависят от годовых трендов, но в большей мере опре- деляются короткими колебаниями, имеющими период в несколько дней. Для указанных разностных кривых (рис.10) коэффициенты корреляции имеют совсем другие значения КА-В= -1,0; КА-С= -0,7; КB-С= + 0,7. Коэффициенты корреляции вычислены по вы- боркам в 250 пар. (С учетом предыдущего пункта ограничиваемся одним знаком после запятой для кривых содержащих случайную компоненту).

Аналогично можно поступить с использовавшимися выше индексами и обра- зовать из них наборы дневных приращений. Для полученных рядов относительных приращений были рассчитаны значения коэффициентов кор- реляции. Как видим из приведенной ниже таблицы 2, значения коэффициентов корреляции принципиально отличаются от соответствующих величин, приведенных в таблице 1.

Главное отличие состоит в большей устойчивости таких коэффициентов. Кроме того, корреляции приращений в основном оказываются положитель- ными. Исключением оказалось отрицательная величина корреляции приращений цены нефти и приращений японского индекса Nikkei 225. Однако абсолютные значения коэффициентов корреляции для приращений оказыва- ются, как правило, заметно меньшими, чем для самих величин и, в большинстве случаев, лишь немногим превышают возможные значения для наборов чисто случайных величин.

Степень устойчивости коэффициента корреляции можно продемонстрировать на их временных зави- симостях. Как уже упоминалось, коэффициент корреляции зависит от времени. Так, для двух наибо- лее ликвидных бумаг российского рынка, цен акций Сбербанка и Газпрома коэффициент корреляции (вычисленный по предыдущим 250 дням – пример- ный годовой интервал) сильно изменяется со временем. Например, в конце 2008 года коэффициент корреляции приближался к +1. Значит, в 2008 году в динамике цен акций преобладала согласованная ком- понента. Однако были периоды, когда коэффициент корреля- ции опускался в отрицательную область. Значит, в течение года, предшествовавшего таким провалам, значений корреляции, цены акций Газпрома и Сбер- банка изменялись в большей мере разнонаправленно. Такого рода разнонаправленность является довольно частым явлением на нашем рынке. Так часто проти- вофазное рынку движение показывали акции Сургутнефтегаза, Норильского Никеля или некото- рые другие акции. Это происходило либо по специфическим корпоративным причинам, либо, когда инвесторы на рынке выбирали какие-либо ак- ции в качестве защитного актива. А вот краткосрочные изменения цен акций, пусть даже в среднем, не являются столь высоко согласо- ванными, но зато демонстрируют большую устойчивость коэффициента корреляции в разные периоды времени. Такое отличие можно увидеть, сопоставляя поведение корреляции как самих цен акций Сбербанка и Газпрома (рис. 12), так и их изме- нений (рис.13). Рис.14 Стоит отметить, что даже для периодов высокой корреляции «зависимость» приращений цен одних акций от приращения цен других акций выглядит совсем не как динамическая кривая. Тем не менее, при больших К с достаточно большой вероятностью будет работать линейная регрессионная зависимость. В результате, можно, например, по приращению цен акций Газпрома оценить приращение акций Сбербан- ка (и наоборот). Однако беда такой зависимости состоит в том, что приращения цен указанных акций происходят за один временной интервал. И оценка вероятности приращения цены акций Сбербанка в определенный день возможна только при завершении этого же дня для акций Газпрома.

Определение коэффициентов корреляции между различными рядами данных позволяет быстро выявить наиболее простые зависимости и найти активы, ко- торые коррелируют с изучаемым. Так, по изменениям индексов зарубежных рынков или цен на товарные группы можно делать оценки вероятности теку- щих изменений индексов на нашем рынке. Но вот с самым главным – возможностью делать вероятностные прогнозы по уже произошедшим событиям все немного хуже. А ведь именно такого рода прогнозы имеют наибольшую ценность. Для этого нужно изучать корреляции сегодняшних приращений индекса с прошлыми приращениями индексов дру- гих рынков или приращениями цен товарных групп. Но по факту оказывается, что информация о прошлом довольно быстро девальвирует со временем. Из- вестная «максима» технического анализа «история цен содержат всю информацию о рынке», работает с большой натяжкой и при условии учета про- исходящих on-line событий. Реально прошлые цены определяют будущую динамику лишь в ограниченной мере. Для определения того, какое прошлое наиболее существенным образом влияет на настоящее, для начального анализа можно пытаться выстраивать корреля- цию текущих приращений с изменениями значений индексов, цен акций в предыдущие моменты времени. По факту оказывается, что уровни корреляции приращений из разных временных интервалов, как правило, имеют довольно низкие значения.

Это можно проиллюстрировать на примере автокорреля- ционной функции приращений индекса ММВБ. Корреляция берется для двух последовательных рядов дневных изменений индекса ММВБ. И если в качестве значений Xi берется дневное приращение индекса ММВБ за текущий день, то в качестве Yi выступают приращения индекса за предыдущий день. Из приведенного на рисунке 15 графика видим, что, во- первых, величина автокорреляции не сильно превышает значения коэффициента корреляции для пар чисто слу- чайных чисел. Во-вторых, К может изменять знак. И все же в длительные периоды знаковой определенно- сти коэффициента корреляции, с его использованием можно заработать на рынке деньги. Для этого, при поло- жительных К, достаточно покупать индекс под занавес торгов в дни, когда он закрывается с положительным приращением, и продавать в дни, когда индекс имеет отрицательное приращение. В результате, на периоде положительной определенности К можно получить ста- тистически значимое положительное приращение счета. В периоды отрицательного К, работоспособной будет контр трендовая к изменениям прошедшего дня методика.

В заключение отметим, что из рядов данных, имеющих наибольшую корреляцию с изучаемым активом, можно отобрать наборы, имеющие наибольшие по модулю ко- эффициенты корреляции. Тогда, (взвешивая, например, пропорционально величине К) можно строить синтетиче- ские активы, которые будут потенциально иметь более глубокую связь с интересующим нас активом, и иметь большее значение коэффициента корреляции. На рис. 16 приведены рассчитанные за предыдущий прошедший год коэффициенты корреляции приращений индекса РТС к приращениям индекса Bovespa, Shanghai Com., цен нефти марки Brent. Видим, что все три указанных коэффициен- та в течение последнего года изменялись в окрестности значений 0,3. Образовав гипотетический актив, изменения которого равны среднему значению изменений трех указанных величин, так же можно рассчитать коэффициент корре- ляции для дневных приращений полученного актива. Рассчитанные по тем же правилам значения коэффици- ента корреляции приращений индекса РТС и указанного синтетического актива приведены на рис. 16 жирной линией. Видим, что уровни корреляции вновь образован- ного актива оказались систематически большими, чем для входящих в него слагаемых. На таком пути можно образовывать другие активы добиваясь получения более высоких значений коэффициентов корреляции. Наиболее очевидное практическое значение имеет ком- бинирование таких синтетических активов из уже ушедших в историю рядов данных. Так, в пару к Xi – изменениям индекса РТС можно, например, составить актив Yi из трех величин: изменений цен нефти и индек- са Bovespa в предыдущий день и значения индекса Shanghai Сomp., но уже в текущий торговый день, кото- рый в Китае заканчивается намного раньше, чем закрываются торги в Москве. Как и в предыдущем слу- чае, коэффициент корреляции приращений индекса РТС с такой синтетической переменной оказывается выше попарных корреляций с каждой из этих величин по от- дельности. Тем самым коэффициент корреляции помогает найти более тесно связанную с изменениями индекса РТС переменную, значения которой появляются раньше по времени, чем время закрытия индекса РТС. Поступая аналогичным образом можно отбирать наборы таких переменных, выбирая из них наиболее связанную пару с интересующим активом.

(Нужно быть готовым к кропотливой работе по предварительной очистке данных, учету праздничных дней, торговле в выходные дни, как это проис- ходит по нефти марки Brent и т.д.). И еще: правильнее брать не среднее значение входящих величин, а их взвешенные значения по средней величине коэффициента корреляции. Лучше ввести изменяемые параметры, подбирая которые можно добиться лучших результатов. Однако оптимизацию лучше проводить уже не по величине коэффициента корреляции, а по потенциаль- ной прибыли, которую можно получить, используя ту или иную торговую методику. Можно уже на этапе подбора исходных данных использовать нейросети, когда оптимизирующая система на этапе обучения сама подбира- ет наиболее подходящие коэффициенты. Но все это уже скорей относится к созданию торговой системы. В данном же тексте продемонстрировано то, как можно использовать коэффициенты корреляции.

РЕЗЮМЕ

Определение коэффициентов корреляции позволяет установить степень связанности изу- чаемых временных рядов. Большие значения коэффициентов корреляции свидетельствуют о высокой коррелированности поведения двух активов. Коэффициент корреляции К изме- няется со временем, но, к сожалению, определение К на малых интервалах может давать большие случайные отклонения. Поэтому реально приходится рассчитывать средние значе- ния К по временному интервалу. Для наборов дневных данных наиболее оптимальным для определений К является годовой интервал. Коэффициент корреляции позволяет проводить регрессионные прямые, которые в некото- рых случаях позволяют прогнозировать вероятность изменения интересующего актива по изменениям других активов. Особенно интересным это становится в случаях, когда можно получить значимые коэффициенты корреляции с рядами данных, которые для текущего момента уже стали историей. Для этого бывает полезным образование «синтетических акти- вов». Таким образом, коэффициент корреляции может быть полезным элементом предваритель- ного анализа исходных рядов цен, которые будут служить исходными данными для будущей торговой системы.

(C)
Источник

При копировании ссылка обязательна | Не является индивидуальной инвестиционной рекомендацией

Поддержите нас – ссылаясь на материалы и приводя новых читателей

Нашли ошибку: выделите и Ctrl+Enter

Добавьте Элиттрейдер в избранное Дзен новостей

Трейдинг19 февраля 2020 в 16:0016 051

Определение и логика корреляции

Корреляция в краткосрочной торговле

Корреляция при построении портфеля ценных бумаг