,                       (56.6)
где

- плотность распределения вероятностей случайной величины . С учетом этого (56.6) преобразуется:
.
Аналогично
,
теперь ковариация
.
Таким образом, для нелинейной связи между случайными величинами их ковариация не может использоваться как мера статистической связи, поскольку значение ковариации не отражает степень этой связи.
 

Ковариация и геометрия линий равного уровня плотности вероятности

Ковариация случайных величин  и  определяется через их совместную плотность вероятности  соотношением:
         .                          (57.1)
Подынтегральная функция в (57.1) неотрицательна для таких , , при которых , то есть при ,  или , . И наоборот, при ,  или ,  подынтегральная функция (57.1) отрицательна либо равна нулю. Знак ковариации зависит от того, какие значения, положительные или отрицательные преобладают в подынтегральной функции. Поэтому знак числа  определяется расположением линий равного уровня плотности вероятности . На рис. 57.1 представлен пример линий равного уровня  функции   ,  для которой  .  Штриховкой

Рис. 57.1.
Линии равного уровня плотности вероятности при .указана часть плоскости, на которой , и следовательно неотрицательна подынтегральная функция. Поскольку в заштрихованной области (положительные значения подынтегральной функции) плотность  имеет в среднем большее значение, чем в нештрихованной области (отрицательные значения подынтегральной функции), то ковариация  . На рис. 57.2 представлены линии равного уровня плотности  при . Случай  соответствует симметричному расположению линий относительно прямой  (или ). Например, эти линии могут быть эллипсами, у которых большая полуось совпадает по направлению с прямой  (или ). Другой пример – линии являются окружностями с центром в точке .

Рис. 57.2. Линии равного уровня плотности
вероятности при .
Отметим, что если , а линии равного уровня имеют ось симметрии, например, на рис. 57.1 линии – это эллипсы, тогда можно выполнить преобразование (вращение) системы координат , такое, что в новой системе ковариация . Это означает также и преобразование случайных величин ,  с ненулевой ковариацией к новым случайным величинам, для которых ковариация равна нулю.

Коэффициент корреляции

58.1. Коэффициентом корреляции двух случайных величин  и  называется число
.                                (58.1)
Коэффициент корреляции является ковариацией:  двух безразмерных случайных величин
, ,                          (58.2)
полученных из исходных величин  и  путем преобразования специального вида (58.2) (нормировки), которое обеспечивает нулевые средние ,  и единичные дисперсии , .
Коэффициент корреляции (58.1) можно представить через ковариацию  случайных величин  и :
.                    (58.3)
Поскольку , то из (58.3) следует
 .               (58.4)
Коэффициент корреляции является безразмерной величиной, принимает значения на интервале  и поэтому используется как мера статистической связи линейного типа между случайными величинами  и , в отличие от ковариации , для которой интервал значений  зависит от дисперсий случайных величин. Рассмотрим примеры вычисления коэффициента корреляции, позволяющие выяснить свойства  как меры статистической связи между случайными величинами.
58.2. Пусть  - случайная величина с математическим ожиданием , дисперсией  и . Ковариация случайных величин  и  определяется формулой (56.5):  . Подставим это соотношение в (58.3) , тогда:
                     (58.4)
Таким образом, для случайных величин , , связанных линейной зависимостью коэффициент корреляции  принимает либо максимальное значение , либо минимальное - .
58.3. Рассмотрим обобщение линейной функции, связывающей случайные величины  и  на линейную случайную функцию следующего вида:
                          (58.5)
где  и  - независимые случайные величины. В частном случае  - число и (58.5) – линейная функция, определяющая  через . Для детерминированной линейной связи  - принимает максимальное значение. Если  - случайная величина, то связь (58.5) становится статистической (стохастической, случайной), то есть не столь жесткой как детерминированная функциональная связь. Это приводит к . В зависимости от свойств случайной величины  статистическая связь между  и  может быть сильной, , или слабой, . Для того, чтобы ответить на вопрос, какова мера связи между случайными величинами  и  (58.5) вычислим их коэффициент корреляции.
Пусть , , , . Тогда из (58.5) следует, в силу независимости  и :
.                                         
Выразим дисперсию случайные величины  через параметры случайных величин , :
 .              (58.6)
Теперь по формуле (58.3):
 .                              (58.7)
Если , то из (58.7) следует , что соответствует слабой связи между случайными величинами  и . Если , из (58.7) следует , связь становится сильной и в пределе при  переходит в детерминированную линейную связь.

Коэффициент корреляции и расстояние

59.1. Пусть  - множество элементов  Расстоянием (метрикой) между элементами  множества  называется неотрицательная функция , удовлетворяющая следующим трем аксиомам:
, причем .
.
.
Вторая аксиома называется условием симметрии, а третья – неравенством треугольника. Если аксиому 1 ослабить: , тогда  называется псевдометрикой. Для псевдометрики из условия  не обязательно следует .
Пусть  - множество случайных величин. Для каждой пары  элементов этого множества можно также ввести расстояние  вида
.                               (59.1)
Покажем, что функция  является псевдометрикой. Аксиома 1 – очевидна: , причем из условия  следует . Аксиома 2 также очевидна. Рассмотрим аксиому 3. Справедливы следующие преобразования:

(59.2)
Пусть  - корреляция двух случайных величин  и . Известно, что  удовлетворяет неравенству (55.2)
 .                                        (59.3)
Подставим (59.3) в (59.2), тогда

 ,                                (59.4)
что и доказывает третью аксиому.
59.2. Пусть
,                                     (59.5)
- нормированные случайные величины. Рассмотрим квадрат расстояния между ними:
        ,        (59.6)
где  - коэффициент корреляции случайных величин  и . Из (59.6) следует равенство
                                                (59.7)
которое можно рассматривать как закон сохранения: величина  - постоянная для любых случайных величин  и . Это равенство позволяет дать интерпретацию коэффициента корреляции  как величины, дополняющей расстояние  до единицы.

Функция распределения вероятностей случайного вектора

Во многих приложениях теории вероятностей возникает необходимость рассматривать совокупность  случайных величин , которая называется многомерной ( - мерной) случайной величиной  или  -мерным случайным вектором . Полное вероятностное описание  - мерного случайного вектора задается функцией распределения вероятностей  (или плотностью вероятности , или характеристической функцией ). Функция  аргументов
                                    (60.1)
называется функцией распределения вероятностей случайного вектора . Здесь случайное событие
                                            (60.2)
- представляет пересечение  событий вида . В записях вида (60.1) для краткости символ пересечения  принято заменять запятой.
Рассмотрим основные свойства функции распределения вероятностей.
1. Пусть  - независимые случайные величины, тогда события , , - независимы и формула (60.1) принимает вид
         ,                         (60.3)
где  - функция распределения вероятностей случайной величины . Таким образом, для независимых случайных величин их совместная функция распределения  представима произведением одномерных функций .
Для любого
         .                      (60.4)
Доказательство следует из определения (60.1). Событие  является невозможным, поэтому и событие (60.2) - невозможное, его вероятность равна нулю, следовательно выполняется соотношение (60.4).
Для любого
.   (60.5)
Это равенство также следует из определения. Событие  - достоверное и в пересечении вида (60.2) это событие можно опустить, после чего из (60.1) следует (60.5).
Если  для всех , то
         ,                                       (60.6)
как вероятность достоверного события.
5. Функция распределения  - непрерывна справа по каждому своему аргументу.

Плотность вероятности случайного вектора

Пусть случайный вектор  имеет функцию распределения вероятностей  и существует частная производная
,                                  (61.1)
тогда функция  называется плотностью распределения вероятностей случайного вектора  или  - мерной плотностью вероятности. При этом функция  и сам вектор  называются непрерывными.
Рассмотрим основные свойства плотности вероятности случайного вектора.
1. Пусть  - независимые случайные величины, тогда функция распределения вероятностей вектора  представима в виде произведения одномерных функций, формула (60.3). Подставляя (60.3) в (61.1), получим
         ,                                  (61.2)
где
                                                      (61.3)
- плотность вероятности случайной величины .
2. Пусть  - малое приращение аргумента  . Тогда из (61.1) следует
           ,              (61.4)
где   - разность порядка  функции , определяемая соотношением:
 ,
 ,…
Из определения  функции , формула (60.1), следует

 ,          (61.5)
затем из (61.4), (61.5) получаем вероятность попадания случайного вектора  в  -мерный параллелепипед со сторонами   :
 . (61.6)
Из (61.6) следует
         .     (61.7)
4. Аналогично из (61.6)
         .             (61.8)
5. Условие нормировки для плотности вероятности  также следует из соотношения (61.6):
         .                         (61.9)
6. Пусть  - область  - мерного пространства, тогда  - вероятность того, что  - мерный случайный вектор принимает значение из области , определяется через плотность :
         .                    (61.10)
Доказательство этого соотношения следует из (61.6) с учетом того, что любая область  может быть покрыта  - мерными параллелепипедами при условии, что  - наибольшая сторона параллелепипеда стремится к нулю.
7. Для любого  
         .        (61.11)
Это равенство называется свойством согласованности плотности: из плотности вероятности порядка  путем интегрирования по «лишнему» аргументу  может быть получена плотность вероятности порядка . Для доказательства представим обе части равенства (60.5) через плотности, используя (61.8), тогда (60.5) принимает вид:
        
.         (61.12)
Продифференцируем обе части этого равенства по аргументам , что приводит к выражению (61.11).

Многомерное нормальное распределение

Случайный вектор  называется нормально распределенным, если его плотность вероятности
         ,     (62.1)
где ;  - ковариационная матрица вектора , элемент которой  является ковариацией случайных величин ;  - определитель матрицы ;  - матрица, обратная ковариационной.
Рассмотрим плотность вероятности  в частном случае попарно некоррелированных случайных величин , для которых выполняется условие
         ,                      (62.2)
где  - символ Кронекера. Таким образом, ковариационная матрица  является диагональной, поскольку ее элементы (62.2) на главной диагонали – ненулевые, а вне главной диагонали - нулевые. Следовательно, определитель
         .                                               (62.3)
Элемент  матрицы , обратной ковариационной можно найти по известной формуле:
         ,                                            (62.4)
где  - алгебраическое дополнение элемента  матрицы . Из (62.3) следует
         ,                                                (62.5)
а также  при . Подстановка этих результатов в (62.4) приводит к выражению
         .                                        (62.6)
Подставим (62.3), (62.6) в (62.1), тогда
        
         ,                            (62.7)
где  - плотность вероятности случайной величины . Таким образом, для гауссова случайного вектора  из условия попарной некоррелированности его компонент , , следует условие (62.7) - независимости компонент случайного вектора.

Характеристическая функция случайного вектора

63.1 Функция  переменных
                                            (63.1)
называется характеристической функцией случайного вектора .
Если случайный вектор  является непрерывным, то его характеристическая функция (63.1) определяется через его плотность :
           . (63.2)
Это соотношение является  - мерным преобразованием Фурье от функции . Поэтому плотность  можно выразить через характеристическую функцию  в виде обратного преобразования Фурье по отношению к (63.2):
.          (63.3)
63.2 Несложно доказать следующие свойства характеристической функции.
1. .
2. .
3. Для независимых случайных величин  их совместная характеристическая функция , где    - характеристическая функция случайной величины .
 4. Для любого целого , , справедливо соотношение:
.
63.3. Для нормально распределенного случайного вектора  его характеристическая функция находится подстановкой плотности вероятности  (62.1) в (63.2.) и последующем вычислении  - мерного интеграла (63.2). Это приводит к следующему выражению:
         ,                    (63.3)
где  - ковариация случайных величин  и .

Функции от случайных величин

Пусть  - случайные величины, имеющие совместную плотность  и совместную функцию распределения вероятностей . Пусть также заданы  функций ,  переменных . Вместо аргументов  функции  подставим случайные величины , тогда
                                 (64.1)
- новые случайные величины. Задача состоит в том, чтобы по известным функциям , , , , найти функцию  и плотность  распределения вероятностей случайного вектора . Такая задача довольно часто возникает во многих приложениях теории вероятностей.
Сравнительно просто найти функцию распределения вероятностей . Действительно, по определению:
                       (64.2)
Представим случайные величины  через , используя соотношения (64.1), тогда
          (64.3)
Здесь вероятность можно представить в виде интеграла по области  от плотности :
                          (64.4)
где область содержит все -мерные вектора , удовлетворяющие условию:
                                     (64.5)
Плотность  вектора  можно определить из (64.4) по формуле:
                                 (64.6)
Соотношения (64.4), (64.6) определяют всего лишь метод решения задачи, но не само решение. Задача в конкретной постановке может быть как относительно простой, так и очень сложной, в зависимости от чисел , , плотности  и вида функций , определяющих область . Ниже рассмотрим примеры решения этой задачи для преобразования одной, двух и нескольких случайных величин.

Распределение вероятностей функции одной случайной величины

65.1. Пусть случайная величина  имеет плотность вероятности  и функция одной переменной , , является взаимно однозначной, тогда плотность вероятности  случайной величины  определяется соотношением:
 ,                               (65.1)
где  - функция, обратная функции .
Вывод формулы (65.1) основан на соотношениях (64.4) и (64.6). Поскольку функция  - взаимно однозначная, то эта функция или монотонно возрастающая  или монотонно убывающая . Очевидны соотношения: