Как найти спектральное разложение матрицы – Сайт, где вы сможете решить свои вопросы

Cпектральное разложение матрицы или разложение матрицы на основе собственных векторов — представление квадратной матрицы $A$ в виде произведения трёх матриц $A=VLambda V^{{-1}}$ , где $V$ — матрица, столбцы которой являются собственными векторами матрицы $A$ , $Lambda$ — диагональная матрица с соответствующими собственными значениями на главной диагонали, $V^{{-1}}$ — матрица, обратная матрице $V$ .

В таком виде могут быть представлены только матрицы, обладающие полным набором собственных векторов, то есть набором из n линейно независимых собственных векторов, где n — порядок матрицы $A$ .

Спектральное разложение может использоваться для нахождения собственных значений и собственных векторов матрицы, решения систем линейных уравнений, обращения матрицы, нахождения определителя матрицы и вычисления аналитических функций от матриц.

Теория собственных векторов и собственных значений матрицы[править | править код]

Ненулевой вектор $mathbf{v}$ размерности N является собственным вектором квадратной $N times N$ матрицы $mathbf {A}$ , если он удовлетворяет линейному уравнению

${displaystyle mathbf {A} mathbf {v} =lambda mathbf {v} }$ ,

где $lambda$ — скаляр, называемый собственным значением матрицы и соответствующий собственному вектору $mathbf{v}$ . То есть, собственные вектора — вектора, которые линейное преобразование $mathbf {A}$ всего лишь удлиняет или укорачивает, а собственное значение — это коэффициент изменения длины. Уравнение выше называется уравнением на собственные значения или задачей на собственные значения.

Уравнение выше может рассматриваться как однородная система линейных уравнений

${displaystyle (mathbf {A} -lambda mathbf {E} ),mathbf {v} =0}$ ,

в которой $lambda$ — это некоторый скалярный параметр, а $mathbf{v}$ — нетривиальное решение однородной системы линейных уравнений. Нетривиальные решения однородной системы линейных уравнений существуют только при равенстве нулю определителя матрицы системы, то есть

${displaystyle pleft(lambda right)=det left(mathbf {A} -lambda mathbf {E} right)=0.}$

Многочлен ${displaystyle p(lambda )}$ называется характеристическим многочленом матрицы, а уравнение выше называется характеристическим уравнением. Характеристическое уравнение является полиномиальным уравнением N-ого порядка от переменной $lambda$ . Данное уравнение имеет ${displaystyle N_{lambda }}$ различных корней, где ${displaystyle 1leqslant N_{lambda }leqslant N}$ . Множество решений, то есть, собственных значений, называется спектром матрицы $mathbf {A}$ ^[1]^[2]^[3].

Разложим характеристический многочлен ${displaystyle p(lambda )}$ на множители:

${displaystyle pleft(lambda right)=left(lambda -lambda _{1}right)^{n_{1}}left(lambda -lambda _{2}right)^{n_{2}}cdots left(lambda -lambda _{N_{lambda }}right)^{n_{N_{lambda }}}=0.}$

Натуральное число n_i называется алгебраической кратностью собственного значения $lambda _{i}$ . Если поле скаляров алгебраически замкнуто, сумма алгебраических кратностей равна N:

${displaystyle sum limits _{i=1}^{N_{lambda }}{n_{i}}=N.}$

Для каждого собственного значения $lambda _{i}$ решается отдельное уравнение на собственные векторы:

${displaystyle left(mathbf {A} -lambda _{i}mathbf {E} right)mathbf {v} =0.}$

Имеется ${displaystyle 1leqslant m_{i}leqslant n_{i}}$ линейно независимых решений для каждого такого уравнения. Линейные комбинации m_i решений являются собственными векторами, связанными с собственным значением $lambda _{i}$ . Целое число m_i называется геометрической кратностью значения $lambda _{i}$ . Алгебраическая кратность $n_{i}$ и геометрическая кратность $m_i$ могут не совпадать, но всегда ${displaystyle m_{i}leqslant n_{i}}$ . Общее число линейно независимых собственных векторов ${displaystyle N_{mathbf {v} }}$ может быть вычислено путём суммирования геометрических кратностей

${displaystyle sum limits _{i=1}^{N_{lambda }}{m_{i}}=N_{mathbf {v} }.}$

Собственные векторы могут быть проиндексированы собственными значениями с помощью двойного индекса, тогда ${displaystyle mathbf {v} _{ij}}$ будет означать j-й собственный вектор для i-го собственного значения. В более простой индексации используется единственный индекс ${displaystyle mathbf {v} _{k}}$ , где ${displaystyle k=1,2,dots ,N_{mathbf {v} }}$ .

Разложение матрицы с помощью собственных векторов[править | править код]

Пусть $mathbf {A}$ будет квадратной $ntimes n$ матрицей, имеющей n линейно независимых собственных векторов q_i ( $i = 1, dots, n$ ). Тогда $mathbf {A}$ можно разложить

${displaystyle mathbf {A} =mathbf {Q} mathbf {Lambda } mathbf {Q} ^{-1}}$ ,

где ${mathbf {Q}}$ является квадратной $ntimes n$ матрицей, i-ым столбцом которой является собственный вектор $q_{i}$ матрицы $mathbf {A}$ , а $Lambda$ является диагональной матрицей, диагональными элементами которой являются соответствующие собственные значения, ${displaystyle Lambda _{ii}=lambda _{i}}$ . Заметим, что только диагонализируемые матрицы могут быть разложены таким образом. Например, матрица сдвига ${displaystyle left[{begin{smallmatrix}1&1\0&1end{smallmatrix}}right]}$ не может быть диагонализирована.

Обычно собственные вектора q_i нормируют, но это не обязательно, в качестве столбцов матрицы ${mathbf {Q}}$ может быть использован и ненормированный набор из n собственных векторов v_i.

Разложение может быть получено из фундаментального свойства собственных векторов:

${displaystyle {begin{aligned}mathbf {A} mathbf {v} &=lambda mathbf {v} \mathbf {A} mathbf {Q} &=mathbf {Q} mathbf {Lambda } \mathbf {A} &=mathbf {Q} mathbf {Lambda } mathbf {Q} ^{-1}.end{aligned}}}$

Пример[править | править код]

Приведём к диагональному виду матрицу $mathbf {A}$ размера $2times 2$

${displaystyle mathbf {A} ={begin{bmatrix}1&0\1&3\end{bmatrix}}}$

над полем вещественных чисел. Представим искомое разложение в виде

${displaystyle {begin{bmatrix}1&0\1&3end{bmatrix}}={begin{bmatrix}a&b\c&dend{bmatrix}}{begin{bmatrix}x&0\0&yend{bmatrix}}{begin{bmatrix}a&b\c&dend{bmatrix}}^{-1},}$

для некоторых вещественных матриц ${displaystyle left[{begin{smallmatrix}x&0\0&yend{smallmatrix}}right]}$ и ${displaystyle mathbf {B} =left[{begin{smallmatrix}a&b\c&dend{smallmatrix}}right].}$

Умножив обе стороны равенства справа на $mathbf {B}$ , получим:

${displaystyle {begin{bmatrix}1&0\1&3end{bmatrix}}{begin{bmatrix}a&b\c&dend{bmatrix}}={begin{bmatrix}a&b\c&dend{bmatrix}}{begin{bmatrix}x&0\0&yend{bmatrix}}.}$

Равенство выше может быть разложено на две системы уравнений:

${displaystyle {begin{cases}{begin{bmatrix}1&0\1&3end{bmatrix}}{begin{bmatrix}a\cend{bmatrix}}={begin{bmatrix}ax\cxend{bmatrix}}\{begin{bmatrix}1&0\1&3end{bmatrix}}{begin{bmatrix}b\dend{bmatrix}}={begin{bmatrix}by\dyend{bmatrix}}end{cases}}.}$

Выносим x и y:

${displaystyle {begin{cases}{begin{bmatrix}1&0\1&3end{bmatrix}}{begin{bmatrix}a\cend{bmatrix}}=x{begin{bmatrix}a\cend{bmatrix}}\{begin{bmatrix}1&0\1&3end{bmatrix}}{begin{bmatrix}b\dend{bmatrix}}=y{begin{bmatrix}b\dend{bmatrix}}end{cases}}}$

Обозначая

${displaystyle {overrightarrow {a}}={begin{bmatrix}a\cend{bmatrix}},quad {overrightarrow {b}}={begin{bmatrix}b\dend{bmatrix}},}$

получаем два векторных уравнения:

${displaystyle {begin{cases}A{overrightarrow {a}}=x{overrightarrow {a}}\A{overrightarrow {b}}=y{overrightarrow {b}}end{cases}}}$

Последняя система может быть представлена одним векторным равенством, включающим решения для двух собственных значений:

${displaystyle mathbf {A} mathbf {u} =lambda mathbf {u} }$ ,

где $lambda$ представляет одно из двух собственных значений x и y матрицы $mathbf {A}$ , а $mathbf {u}$ представляет один из двух векторов ${displaystyle {overrightarrow {a}}}$ и ${displaystyle {overrightarrow {b}}}$ .

Перенося ${displaystyle lambda mathbf {u} }$ в левую часть и вынеся $mathbf {u}$ , получим

${displaystyle (mathbf {A} -lambda mathbf {E} )mathbf {u} =mathbf {0} }$

Поскольку матрица $mathbf {B}$ невырожденна, важно, чтобы вектор $mathbf {u}$ не был нулевым. Поэтому,

${displaystyle det(mathbf {A} -lambda mathbf {E} )=0}$ .

Решениями уравнения

${displaystyle (1-lambda )(3-lambda )=0}$

являются $lambda =1$ и $lambda =3$ , а получающаяся диагональная матрица из разложения матрицы $mathbf {A}$ равна ${displaystyle left[{begin{smallmatrix}1&0\0&3end{smallmatrix}}right]}$ .

Если подставить решения обратно в систему уравнений выше, получим

${displaystyle {begin{cases}{begin{bmatrix}1&0\1&3end{bmatrix}}{begin{bmatrix}a\cend{bmatrix}}=1{begin{bmatrix}a\cend{bmatrix}}\{begin{bmatrix}1&0\1&3end{bmatrix}}{begin{bmatrix}b\dend{bmatrix}}=3{begin{bmatrix}b\dend{bmatrix}}end{cases}}}$

Решив уравнения, мы получим

${displaystyle a=-2cquad {text{и}}quad b=0,qquad c,din mathbb {R} .}$

Тогда матрица $mathbf {B}$ , требуемая для разложения матрицы $mathbf {A}$ равна

${displaystyle mathbf {B} ={begin{bmatrix}-2c&0\c&dend{bmatrix}},qquad c,din mathbb {R} ,}$

То есть:

${displaystyle {begin{bmatrix}1&0\1&3end{bmatrix}}={begin{bmatrix}-2c&0\c&dend{bmatrix}}{begin{bmatrix}1&0\0&3end{bmatrix}}{begin{bmatrix}-2c&0\c&dend{bmatrix}}^{-1},qquad c,din mathbb {R} }$

Обращение матрицы через разложение по собственным векторам[править | править код]

Пусть матрица $mathbf {A}$ имеет спектральное разложение и никакое из собственных значений матрицы не равно нулю. В этом случае матрица $mathbf {A}$ является невырожденной, а её обратная матрица находится по формуле

${displaystyle mathbf {A} ^{-1}=mathbf {Q} mathbf {Lambda } ^{-1}mathbf {Q} ^{-1}}$

Если матрица $mathbf {A}$ является симметричной матрицей, тогда матрица ${mathbf {Q}}$ гарантированно будет ортогональной, то есть ${displaystyle mathbf {Q} ^{-1}=mathbf {Q} ^{mathrm {T} }}$ . А поскольку матрица $Lambda$ является диагональной, то её обратную легко вычислить:

${displaystyle left[Lambda ^{-1}right]_{ii}={frac {1}{lambda _{i}}}}$

Практическое значение^[4][править | править код]

Если разложение с помощью собственных векторов используется для матрицы, полученной при измерениях с реальными данными, то обратная матрица может быть хуже обусловлена, если все собственные значения используются в неизменной форме. Дело в том, что когда собственные значения становятся относительно малыми, вклад их обратных в обратную матрицу велик. Эти близкие к нулю значения или «шум» системы измерения будет иметь чрезмерное влияние и может помешать решению с помощью обращения.

Было предложено два варианта смягчения последствий: отбрасывание малых или нулевых собственных значений и копирование наименьшего надёжного значения в более маленькие.

Первый вариант смягчения подобен разрежению исходной матрицы, в которой удаляются элементы, которые посчитали незначимыми. Однако, если процесс решения окажется близок к уровню шума, откидывание может удалить компоненты, которые влияют на желаемое решение.

Второй вариант смягчения копирует собственное значение, так что меньшие значения имеют меньшее влияние на результат обращения, но по-прежнему вносят вклад, так что могут быть найдены решения, даже близкие к уровню шума.

Надёжное собственное значение может быть найдено в предположении, что собственные значения крайне близки и низкое значение является хорошим представлением шума измерения (который предполагается низким для большинства систем).

Если собственные значения выстроены по величине, надёжное собственное значение может быть найдено путём минимизации лапласиана отсортированных собственных значений^[5]:

${displaystyle min left|nabla ^{2}lambda _{mathrm {s} }right|}$ ,

где собственные значения помечены буквой s для обозначения сортировки (от английского sorted). Место минимума является наименьшим надёжным собственным значением. В системах измерения квадратный корень из этого надёжного собственного значения является средним шумом относительно других компонент системы.

Функциональное исчисление[править | править код]

Пусть квадратная матрица $mathbf {A}$ имеет разложение ${displaystyle mathbf {A} =mathbf {Q} mathbf {Lambda } mathbf {Q} ^{-1}}$ . Тогда возведение матрицы в натуральную степень считается по простой формуле:

${displaystyle mathbf {A} ^{n}=left(mathbf {Q} mathbf {Lambda } mathbf {Q} ^{-1}right)^{n}=underbrace {mathbf {Q} mathbf {Lambda } mathbf {Q} ^{-1}cdot ldots cdot mathbf {Q} mathbf {Lambda } mathbf {Q} ^{-1}} _{n}=mathbf {Q} mathbf {Lambda } ^{n}mathbf {Q} ^{-1},}$

здесь в промежуточном выражении сокращаются произведения ${displaystyle mathbf {Q} ^{-1}mathbf {Q} }$ . Операция возведения в натуральную степень позволяет определить над матрицами различные функции, которые выражаются в виде степенных рядов.

Разложение матрицы по собственным значениям позволяет быстрее вычислить степенной ряд от матрицы. Пусть f (x) задается степенным рядом

${displaystyle f(x)=a_{0}+a_{1}x+a_{2}x^{2}+cdots }$

В соответствии с формулой для степени от матрицы выше, степенной ряд для матрицы можно посчитать по формуле

${displaystyle fleft(mathbf {A} right)=mathbf {Q} fleft(mathbf {Lambda } right)mathbf {Q} ^{-1}}$ ,

где ${displaystyle fleft(mathbf {Lambda } right)}$ — функция от диагональной матрицы $Lambda$ , которая может быть очень легко вычислена:

${displaystyle left[fleft(mathbf {Lambda } right)right]_{ii}=fleft(lambda _{i}right)}$

При этом недиагональные элементы матрицы ${displaystyle f(Lambda )}$ равны нулю. То есть, ${displaystyle f(Lambda )}$ также является диагональной матрицей. В результате, вычисление функции от матрицы сводится к простому вычислению функции от каждого из собственных значений.

Похожая техника работает и в более общем виде в голоморфном функциональном исчислении^[en], с помощью формулы

${displaystyle mathbf {A} ^{-1}=mathbf {Q} mathbf {Lambda } ^{-1}mathbf {Q} ^{-1}}$

можно вычислять от матриц степенные ряды, которые содержат отрицательные степени. Здесь снова используется, что ${displaystyle left[fleft(mathbf {Lambda } right)right]_{ii}=fleft(lambda _{i}right)}$ .

Примеры[править | править код]

Квадратный корень из матрицы:

${displaystyle {sqrt {mathbf {A} }}=mathbf {Q} {sqrt {mathbf {Lambda } }}mathbf {Q} ^{-1}.}$

Возводим в квадрат и убеждаемся в корректности:

${displaystyle mathbf {Q} {sqrt {mathbf {Lambda } }}mathbf {Q} ^{-1}mathbf {Q} {sqrt {mathbf {Lambda } }}mathbf {Q} ^{-1}=mathbf {Q} mathbf {Lambda } mathbf {Q} ^{-1}=mathbf {A} .}$

Аналогичным образом определяется экспонента матрицы ${displaystyle exp {mathbf {A} }}$ :

${displaystyle exp {mathbf {A} }=mathbf {Q} exp {mathbf {Lambda } }mathbf {Q} ^{-1}.}$

Разложение специальных матриц[править | править код]

Нормальные матрицы[править | править код]

Комплексная квадратная матрица $mathbf {A}$ нормальна (что означает, что ${displaystyle mathbf {A} ^{ast }mathbf {A} =mathbf {AA} ^{ast }}$ , где ${displaystyle mathbf {A} ^{ast }}$ является эрмитово-сопряжённой) тогда и только тогда, когда она может быть разложена

${displaystyle mathbf {A} =mathbf {U} mathbf {Lambda } mathbf {U} ^{*}}$

где ${displaystyle mathbf {U} }$ является унитарной (что означает, что ${displaystyle mathbf {U} ^{ast }=mathbf {U} ^{-1}}$ ) и ${displaystyle mathbf {Lambda } =diag(lambda _{1},dots ,lambda _{n})}$ является диагональной матрицей^[6].
Столбцы ${displaystyle mathbf {u} _{1},dots ,mathbf {u} _{n}}$ матрицы ${displaystyle mathbf {U} }$ образуют ортонормальный базис и являются собственными векторами матрицы $mathbf {A}$ с соответствующими собственными значениями ${displaystyle lambda _{1},dots ,lambda _{n}}$ .

Если класс матриц $mathbf {A}$ ограничен эрмитовыми матрицами ( ${displaystyle mathbf {A} =mathbf {A} ^{ast }}$ ), то $Lambda$ имеет только вещественные значения. Если класс матриц $mathbf {A}$ ограничен унитарными матрицами, то все значения $Lambda$ лежат на комплексной единичной окружности, то есть, ${displaystyle |lambda _{i}|=1}$ .

Вещественные симметричные матрицы[править | править код]

Для любой вещественной $ntimes n$ симметричной матрицы собственные значения вещественны и собственные вектора можно выбрать вещественными и ортонормальными. Таким образом, вещественная симметричная матрица $mathbf {A}$ может быть разложена в

${displaystyle mathbf {A} =mathbf {Q} mathbf {Lambda } mathbf {Q} ^{mathsf {T}}}$

где ${mathbf {Q}}$ — ортогональная матрица, столбцами которой служат собственные вектора матрицы $mathbf {A}$ , а $Lambda$ — диагональная матрица, у которой значения на диагонали равны собственным значениям матрицы $mathbf {A}$ ^[7].

Полезные факты[править | править код]

Полезные факты о собственных значениях[править | править код]

Полезные факты о собственных векторах[править | править код]

Полезные факты о разложении с помощью собственных векторов[править | править код]

Полезные факты об обратной матрице[править | править код]

Численные вычисления[править | править код]

Численное вычисление собственных значений[править | править код]

Предположим, что требуется вычислить собственные значения заданной матрицы. Если размеры матрицы малы, собственные значения могут быть вычислены символьно с помощью характеристического многочлена. Однако это часто невозможно для больших матриц, и в этом случае используются численные методы.

На практике собственные значения больших матриц не вычисляются с помощью характеристического многочлена. Вычисление многочлена становится само по себе трудоёмким и затратным по времени, а точные (символьные) корни многочлена высокой степени трудно вычислить и выразить — из теоремы Абеля о неразрешимости уравнений в радикалах следует, что корни многочленов высокой степени (5 и выше) не могут быть в общем случае представлены как выражения от корней n-ой степени. По этой причине общие алгоритмы поиска собственных векторов и собственных значений работают итеративно.

Существуют итеративные численные алгоритмы аппроксимации корней многочленов, такие как метод Ньютона, но, как правило, непрактично строить характеристический многочлен, а затем применять эти методы. Одной из причин является то, что малые ошибки округления^[en] в коэффициентах характеристического многочлена могут привести к большим ошибкам в собственных значениях и собственных векторах — корни являются крайне плохо обусловленной функцией от коэффициентов^[8].

Простым и точным итеративным методом является степенной метод — выбирается случайный вектор $mathbf{v}$ и вычисляется последовательность единичных векторов

${displaystyle {frac {mathbf {A} mathbf {v} }{left|mathbf {A} mathbf {v} right|}},{frac {mathbf {A} ^{2}mathbf {v} }{left|mathbf {A} ^{2}mathbf {v} right|}},{frac {mathbf {A} ^{3}mathbf {v} }{left|mathbf {A} ^{3}mathbf {v} right|}},ldots }$

Эта последовательность почти всегда сходится к собственному вектору, соответствующему собственному значению наибольшей величины, при условии что у вектора $mathbf{v}$ соответствующая этому собственному вектору компонента в базисе из собственных векторов ненулевая (а также при условии, что имеется только одно собственное значение наибольшей величины). Этот простой алгоритм полезен в некоторых практических приложениях. Например, Google использует его для вычисления ссылочного ранжирования документов в их поисковике^[9]. Также степенной метод является отправной точкой для многих других сложных алгоритмов. Например, если хранить не только последний вектор последовательности, а смотреть в линейной оболочке всех векторов последовательности, можно получить лучшую (сходящуюся быстрее) аппроксимацию собственного вектора, и эта идея является основой итерации Арнольди^[8]. Также важный QR-алгоритм также основан на слегка изменённом степенном методе^[8].

Численное вычисление собственных векторов[править | править код]

Если собственные значения вычислены, собственные вектора можно вычислить путём решения уравнения

${displaystyle left(mathbf {A} -lambda _{i}mathbf {E} right)mathbf {v} _{i,j}=0}$

с помощью исключения Гаусса или любого другого метода решения матричного уравнения.

Однако, в практических методах нахождения собственных значений матриц большого размера собственные вектора обычно вычисляются другими способами как побочный продукт вычисления собственного значения. В степенном методе, например, собственный вектор, в общем-то, вычисляется перед вычислением собственного значения (который обычно вычисляется согласно отношению Рэлея для собственного вектора)^[8]. В QR-алгоритме для эрмитовой матрицы (или любой нормальной матрицы), ортонормальные собственные вектора получаются как произведение матриц ${mathbf {Q}}$ из шагов алгоритма^[8]. (Для матриц более общего вида QR-алгоритм сначала осуществляет разложение Шура, из которого собственные вектора могут быть получены обратной подстановкой^[10]) Для эрмитовых матриц алгоритм поиск собственных значений «разделяй и властвуй»^[en] более эффективен чем QR-алгоритм, если нужны как собственные вектора, так и собственные значения^[8].

Дополнительные темы[править | править код]

Обобщённые собственные пространства[править | править код]

Напомним, что геометрическую кратность собственного значения можно описать как размерность связанного собственного пространства, ядра матрицы ${displaystyle lambda mathbf {E} -mathbf {A} }$ . Алгебраическая кратность может также рассматриваться как размерность — это размерность связанного обобщённого собственного пространства (в 1-м смысле), которое является ядром матрицы ${displaystyle (lambda mathbf {E} -mathbf {A} )^{k}}$ для любого достаточно большого k. То есть, это пространство обобщённых собственных векторов (в первом смысле), где обобщённый собственный вектор — это любой вектор, который рано или поздно станет 0, если применить ${displaystyle lambda mathbf {E} -mathbf {A} }$ достаточное число раз. Любой собственный вектор является обобщённым собственным вектором, а потому любое собственное пространство содержится в связанном обобщённом собственном пространстве. Это даёт простое доказательство, что геометрическая кратность никогда не превосходит алгебраическую кратность.

Такое использование не следует путать с обобщённой задачей собственных значений, описанной ниже.

Сопряжённый собственный вектор[править | править код]

Сопряжённый собственный вектор — это вектор, который после линейного преобразования переходит в (с точностью до умножения на скаляр) в свой сопряжённый. Скаляр тогда называется сопряжённым собственным значением линейного преобразования. Сопряжённые собственные вектора и значения представляют, по сути дела, ту же самую информацию, что и обычные собственные вектора и собственные значения, но возникают в случае использования других систем координат. Соответствующим равенством будет

${displaystyle mathbf {A} mathbf {v} =lambda mathbf {v} ^{*}.}$

Например, в теории когерентного электромагнитного рассеяния линейное преобразование $mathbf {A}$ представляет действие, осуществляемое рассеивающим объектом, а собственные вектора представляют поляризационные состояния электромагнитной волны. В оптике координатная система определяется с волновой точки зрения, известной как выравнивание прямого рассеивания^[en] (англ. Forward Scattering Alignment, FSA), и порождает уравнения обычных собственных значений, в то время как в радарах координатная система определяется со стороны радара, она известна как выравнивание обратного рассеивания^[en] (англ. Back Scattering Alignment, BSA) и порождает уравнения для сопряжённых собственных векторов.

Обобщённая задача нахождения собственных значений[править | править код]

Обобщённая задача нахождения собственных значений (во втором смысле) — это задача нахождения вектора $mathbf{v}$ , удовлетворяющего равенству

${displaystyle mathbf {A} mathbf {v} =lambda mathbf {B} mathbf {v} }$

где $mathbf {A}$ и $mathbf {B}$ являются матрицами. Если $mathbf{v}$ удовлетворяет этому равенству для некоторого $lambda$ , то мы называем $mathbf{v}$ обобщённым собственным вектором матриц $mathbf {A}$ и $mathbf {B}$ (во втором смысле), а $lambda$ называется обобщённым собственным значением матриц $mathbf {A}$ и $mathbf {B}$ (во втором смысле), соответствующим обобщённому собственному вектору $mathbf{v}$ . Возможные значения $lambda$ должны удовлетворять следующему равенству

${displaystyle det(mathbf {A} -lambda mathbf {B} )=0.}$

Если можно найти $n$ линейно независимых векторов ${displaystyle {mathbf {v} _{1},dots ,mathbf {v} _{n}}$ , таких что для любого ${displaystyle iin {1,dots ,n}}$ , ${displaystyle mathbf {Av} _{i}=lambda _{i}mathbf {Bv} _{i}}$ , мы определяем матрицы ${mathbf {P}}$ и $mathbf {D}$ следующим образом

${displaystyle P={begin{pmatrix}|&&|\mathbf {v} _{1}&cdots &mathbf {v} _{n}\|&&|end{pmatrix}}equiv {begin{pmatrix}(mathbf {v} _{1})_{1}&cdots &(mathbf {v} _{n})_{1}\vdots &&vdots \(mathbf {v} _{1})_{n}&cdots &(mathbf {v} _{n})_{n}end{pmatrix}}}$

${displaystyle (D)_{ij}={begin{cases}lambda _{i},&{text{если }}i=j\0,&{text{иначе}}end{cases}}}$

Тогда выполняется следующее равенство

${displaystyle mathbf {A} =mathbf {B} mathbf {P} mathbf {D} mathbf {P} ^{-1}}$

Доказательство

${displaystyle mathbf {A} mathbf {P} =mathbf {A} {begin{pmatrix}|&&|\mathbf {v} _{1}&cdots &mathbf {v} _{n}\|&&|end{pmatrix}}={begin{pmatrix}|&&|\Amathbf {v} _{1}&cdots &Amathbf {v} _{n}\|&&|end{pmatrix}}={begin{pmatrix}|&&|\lambda _{1}Bmathbf {v} _{1}&cdots &lambda _{n}Bmathbf {v} _{n}\|&&|end{pmatrix}}={begin{pmatrix}|&&|\Bmathbf {v} _{1}&cdots &Bmathbf {v} _{n}\|&&|end{pmatrix}}mathbf {D} =mathbf {B} mathbf {P} mathbf {D} }$

А поскольку ${mathbf {P}}$ обратима, умножим на эту обратную и получим требуемый результат.

Множество матриц вида ${displaystyle mathbf {A} -lambda mathbf {B} }$ , где $lambda$ — комплексное число, называется пучком. Термин пучок матриц может относиться также к паре матриц ${displaystyle mathbf {A} ,mathbf {B} }$ ^[11].

Если матрица $mathbf {B}$ обратима, то исходную задачу можно переписать в виде

${displaystyle mathbf {B} ^{-1}mathbf {A} mathbf {v} =lambda mathbf {v} }$

что является стандартной задачей собственных значений. В большинстве ситуаций, однако, нежелательно осуществлять это обращение, а решать обобщённую задачу собственных значений. Это особенно важно, если матрицы $mathbf {A}$ и $mathbf {B}$ эрмитовы, поскольку в этом случае ${displaystyle mathbf {B} ^{-1}mathbf {A} }$ в общем случае обычно не эрмитова и важные свойства решения больше не проявляются.

Если обе матрицы $mathbf {A}$ и $mathbf {B}$ симметричны и эрмитовы и $mathbf {B}$ является кроме того положительно определённой, собственные значения $lambda _{i}$ вещественны и собственные вектора ${displaystyle mathbf {v} _{1}}$ и ${displaystyle mathbf {v} _{2}}$ с различными собственные значения $mathbf {B}$ -ортогональны ( ${displaystyle mathbf {v} _{1}^{ast }mathbf {Bv} _{2}=0}$ )^[12]. В этом случае собственные вектора можно выбрать так, что матрица ${mathbf {P}}$ , определённая выше, удовлетворяет условиям

${displaystyle mathbf {P} ^{*}mathbf {B} mathbf {P} =mathbf {E} }$ or ${displaystyle mathbf {P} mathbf {P} ^{*}mathbf {B} =mathbf {E} }$ ,

и существует базис обобщённых собственных векторов (он не является дефектной матрицей^[en])^[11]. Этот случай иногда называется эрмитово определённым пучком^[11].

См. также[править | править код]

Разложение матрицы
Жорданова нормальная флома^[en]
Список матриц
Собственный вектор
Спектральная теорема
Сингулярное разложение
Преобразование Хаусхолдера
Ковариант Фробениуса
Формула Сильвестера^[en]
Возмущение собственных значений^[en]

Примечания[править | править код]

↑ Golub, Van Loan, 1996, с. 310.
↑ Kreyszig, 1972, с. 273.
↑ Nering, 1970, с. 270.
↑ Hayde, Twede, 2002, с. 355.
↑ Hayde, Twede, 2002, p. 299.
↑ Horn, Johnson, 1985, с. 133 Theorem 2.5.3.
↑ Horn, Johnson, 1985, с. 136 Theorem 2.5.3 Corollary 2.5.11.
↑ ¹ ² ³ ⁴ ⁵ ⁶ Trefethen, Bau, 1997.
↑ Ipsen, Wills, 2005.
↑ Quarteroni, Sacco, Saleri, 2000, с. 15.
↑ ¹ ² ³ Bai, Demmel, 2000.
↑ Parlett, 1998, с. 345.

Литература[править | править код]

Hayde A. F., Twede D. R. Observations on relationship between eigenvalues, instrument noise and detection performance // Imaging Spectrometry VIII. / Sylvia S. Shen. — 2002. — Т. 4816. — doi:10.1117/12.453777. — Bibcode: 2002SPIE.4816..355H.
Twede D. R., Hayden A. F. Refinement and generalization of the extension method of covariance matrix inversion by regularization // Imaging Spectrometry IX.. — 2004. — Т. 5159. — doi:10.1117/12.506993. — Bibcode: 2004SPIE.5159..299T.
Lloyd N. Trefethen, David Bau. Numerical Linear Algebra. — «SIAM, 1997. — ISBN 978-0-89871-361-9.
Alfio Quarteroni, Riccardo Sacco, Fausto Saleri. section 5.8.2 // Numerical Mathematics. — «Springer, 2000. — ISBN 978-0-387-98959-4.
Beresford N. Parlett. The symmetric eigenvalue problem. — Reprint.. — Philadelphia: «Society for Industrial and Applied Mathematics, 1998. — ISBN 978-0-89871-402-9. — doi:10.1137/1.9781611971163.
- Перевод Б. Парлетт. Симметричная проблема собственных значений. — Москва: «Мир», 1983.
Ilse Ipsen, Rebecca M. Wills. Analysis and Computation of Google’s PageRank // 7th IMACS International Symposium on Iterative Methods in Scientific Computing, Fields Institute, Toronto, Canada, 5–8 May 2005. — 2005.
Generalized Hermitian Eigenvalue Problems // Templates for the Solution of Algebraic Eigenvalue Problems: A Practical Guide / Z. Bai, J. Demmel, J. Dongarra, A. Ruhe, H. Van Der Vorst. — Philadelphia: SIAM, 2000. — ISBN 978-0-89871-471-5.
Joel N. Franklin. Matrix Theory. — Dover Publications. — ISBN 978-0-486-41179-8.
Gene H. Golub, Charles F. Van Loan. Matrix Computations. — 3rd. — Baltimore: Johns Hopkins University Press, 1996. — ISBN 978-0-8018-5414-9.
- Перевод Дж. Голуб, Ч. Ван Лоун. Матричные вычисления. — Москва: «Мир», 1999. — ISBN 5-03-002406-9.
Roger A. Horn, Charles R. Johnson. Matrix Analysis. — Cambridge University Press, 1985. — ISBN 978-0-521-38632-6.
- Перевод Хорн Р., Джонсон Ч. Матричный анализ. — «Мир», 1989. — ISBN 978-5-458-26504-1 (ЁЁ Медиа).

Roger A. Horn, Charles R. Johnson. Topics in Matrix Analysis. — Cambridge University Press, 1991. — ISBN 978-0-521-46713-1.
Erwin Kreyszig. Advanced Engineering Mathematics. — 3rd. — New York: Wiley, 1972. — ISBN 978-0-471-50728-4.
Evar D. Nering. Linear Algebra and Matrix Theory. — 2nd. — New York: Wiley, 1970.
Strang G. Introduction to Linear Algebra. — 3rd. — Wellesley-Cambridge Press, 1998. — ISBN 978-0-9614088-5-5.

Ссылки[править | править код]

Interactive program & tutorial of Spectral Decomposition.

Источник

Макеты страниц

Пусть А — это симметричная матрица порядка Допустим, что являются соответственно диагональной и невырожденной матрицами порядка удовлетворяющими соотношению

Тогда называют спектральным разложением матрицы А. В покомпонентной форме спектральное разложение выражается формулой

где

Пусть произвольный -мерный вектор-столбец. Величина

называется квадратичной формой, определяемой матрицей А. В соответствии с формулой мы имеем

где

Матрица А является положительно -оиределенной, если для всех Из равенства следует, что матрица А положительно (отрицательно) определена тогда и только тогда, когда все числа положительны (отрицательны).

Если ни одно число не равно нулю, то матрица А невырождена, и мы можем определить обратную матрицу

поскольку матрица предполагалась невырожденной, является диагональной матрицей с элементами

Любая симметричная матрица обладает бесконечным числом спектральных разложений. Среди них важную роль играют следующие разложения:

(а) Разложение в главных осях. Предположим, что в качестве взята ортогональная матрица V, удовлетворяющая условию

В этом случае мы заменяем обозначения на А и на Я. Тогда из равенств (А.5-1) и мы имеем

Пусть обозначает столбец матрицы Тогда равенство эквивалентно соотношениям

которые устанавливают тот факт, что являются соответственно собственными значениями и собственными векторами матрицы А. Равенство

представляет собой разложение в главных осях или разложение по собственным значениям матрицы А. Переходя к обратным матрицам в равенстве мы находим

при условии, что все числа Если при суммировании в формуле мы опустим все члены, для которых то мы получим матрицу называемую псевдообратной к матрице А. Это определение

псевдообращеиия применимо только к симметричным матрицам (по поводу общего случая см. формулы

Формулы показывают, как могут быть восстановлены прямая и обратная к ней матрицы, когда известны собственные значения и векторы. Рассмотрим теперь квадратичную форму Мы имеем

где

Поскольку матрица V ортогональная, преобразование, задаваемое формулой не меняет вида контуров функции т. е. вида поверхностей, на которых равна константе. Из равенства очевидно, что эти поверхности являются квадриками, направления их главных осей совпадают с векторами а длины главных осей обратно пропорциональны величинам Например, если и числа положительны, то контуры оказываются эллипсами, длины главных осей которых пропорциональны величинам и Если собственные значения примерно равны, то контуры будут почти окружностями; если они сильно отличаются друг от друга, контуры будут очень вытянутыми.

Более развернутый анализ методов вычисления собственных значений и векторов можно найти в книге Уилкинсона . Сводка операций быстрого и удобного метода, основанного на -алгоритме, представлена в предыдущем разделе. Если вычисления выполняются с точностью до знаков, то ошибка для каждого вычисленного собственного значения равна примерно где это собственное значение с наибольшей абсолютной величиной. Отсюда следует, что собственные значения, много меньшие, чем так, нельзя вычислить с большой точностью. Определим число обусловленности матрицы как отношение наибольшего собственного значения к наименьшему (по абсолютной величине). Вычисление малых собственных значений матрицы (соответствующих главным осям с большими длинами) с большим числом обусловленности ставит нас перед серьезной проблемой. К счастью, эту проблему можно обойти, если пользоваться различными спектральными разложениями, как это описывается ниже.

(б) Шкалированные разложения и обратные шкалированные разложения. Возникновение плохо обусловленных (большое число обусловленности) матриц, встречающихся в практике, часто определяется шкалированием переменных. Рассмотрим, например, функцию Она имеет матрицу Гессе

которая является идеально хорошо обусловленной, поскольку оба собственных значения равны единице. Заменим шкалу первой переменной, делая подстановку Оставим без изменений вторую

переменную, полагая В этих новых координатах и

Число обусловленности возросло от 1 до 1010. Это рассуждение подсказывает, что, прежде чем вычислять собственные значения и векторы, нам нужно задать матрицу в подходящей шкале.

Простейший способ шкалирования состоит в том, чтобы свести все диагональные элементы к единичной величине. Если наша матрица является матрицей Гессе, то это значит, что мы заменяем шкалы для всех переменных так, чтобы кривизна сечений целевой функции вдоль всех координатных осей в точке минимума была единичной. Если наша матрица является обратной к матрице Гессе, то мы шкалируем все переменные таким образом, чтобы получить единичные стандартные отклонения (см. раздел 7.5). Если наша матрица является положительно- или отрицательно-определенной, то предложенное шкалирование приводит величины всех внедиагональных элементов к значениям, меньшим, чем единица. Если же матрица не является положительно-определенной, то этот метод шкалирования может оказаться неудачным, оставляя очень большими внедиагональные элементы. Однако в целом этот метод приводил обычно к очень хорошим результатам.

Если при заданной матрице А мы определим диагональную матрицу В с элементами

то матрица

имеет элементы (за исключением тех, где или в частности, Будем называть матрицу С шкалированной модификацией матрицы А. Если А является ковариационной матрицей, то С будет корреляционной матрицей. Пусть разложение матрицы С в главных осях выражается формулой

где матрица П — диагональная; это собственное чение матрицы это матрица, столбцом которой служит вектор т. е. собственный вектор матрицы

Равенства можно объединить в одно, получая

где

Назовем соотношение шкалированным разложением матрицы А. Переходя к обратным матрицам в равенстве получаем

где

Назовем соотношение обратным шкалированным разложением матрицы А.

Ниже представлена сводка операций, требующихся для вычисления шкалированных разложений:

1) разделить каждый элемент на число формируя матрицу

2) получить собственные значения и собственные векторы матрицы

3) умножить элемент вектора на число чтобы получить вектор который служит столбцом матрицы

4) шкалированное разложение матрицы А определяется равенством

которое эквивалентно равенству

5) разделить элемент вектора и. на число чтобы получить вектор который служит столбцом матрицы

6) обратное шкалированное разложение матрицы определяется равенством

при условии, что все Оно эквивалентно равенству

Замечание. Заменять в перечисленных выше вычислениях каждый нулевой элемент А и на единицу.

Численные примеры приведены в разделе 5.21.

Вышеописанный алгоритм (если опустить пункты 3 и 4) можно рассматривать как метод вычисления обратной матрицы для симметричной матрицы. Маловероятно, что в таком качестве он заслуживает призовых мест по скорости вычислений, но он является вполне точным и устойчивым. Этот алгоритм дает возможность проникновения в структуру матрицы и позволяет нам генерировать «почти обратные» матрицы к матрице А. Под этим именем мы подразумеваем матрицы, которые (подобно псевдообратным) отличаются от матриц вида только значениями чисел причем последние выбираются так, чтобы придавать матрице желаемые свойства (например, положительную определенность или хорошую обусловленность). По поводу примеров см. разделы 5.7 и 5.8.

(в) Разложение типа квадратного корня. Если матрица А положительно определена, то оказывается возможным получать спектральные разложения, в которых единичная матрица, т. е.

Особый интерес представляет разложение, в котором является симметричной матрицей откуда следует, что Матрица называется квадратным корнем из матрицы А. Если является разложением матрицы А в главных осях, то, поскольку мы имеем

так что Здесь является диагональной матрицей с элементами Разложение Холецкого (см. например, [82]). Снова мы предположим, что матрица А является положительно-определенной и выберем Однако теперь мы уточним ситуацию, требуя, чтобы матрица была нижней треугольной матрицей т. е. матрицей, у которой все элементы выше главной диагонали равны нулю:

Поскольку мы имеем равенство которое в силу условия принимает вид:

Эти уравнения можно решить относительно рекуррентно. Согласно имеем

Из уравнений получаем

Затем, пользуясь уравнениями поочередно для получаем

Эти вычисления могут быть выполнены беспрепятственно при условии, что все выражения под каждым квадратным корнем положительны. Это будет иметь место тогда и только тогда, когда матрица является положительно-определенной. Из всех рассмотренных разложений последнее является единственным разложением, которое может быть выполнено как конечная процедура, которая требует примерно умножений. Все другие разложения основаны на вычислении собственных значений, которое требует организации итерационного процесса.

Разложение Холецкого особенно полезно при решении относительно х системы линейных уравнений

Эта система может быть переписана в виде

где

Далее, система с учетом треугольной структуры матрицы имеет вид:

Эти уравнения могут быть легко решены по очереди относительно Затем уравнения которые имеют вид

могут быть решены по очереди относительно Это самый быстрый метод решения системы когда матрица А положительно определена.

В заключение этого раздела мы сделаем замечание вычислительного характера. В большинстве приложений матрица А задается только в виде разложения (равенство Нас интересует вычисление некоторого вектора где известный вектор, но мы никак не пользуемся самой матрицей А. Нижеследующая система операций намного более экономична, чем вычисление сначала матрицы А, а затем вычисление вектора

1) допустим, что Вычислить вектор

2) вычислить вектор Это делается просто применением формулы к каждой координате вектора

3) вычислить .

В итоге естественный порядок вычислений выражается формулами:

Численный пример приведен в разделе 5.21.

Оглавление

ПРЕДИСЛОВИЕ К РУССКОМУ ИЗДАНИЮ
ПРЕДИСЛОВИЕ
Глава I. ВВЕДЕНИЕ
1.1. Подбор кривой
1.2. Подгонка модели
1.3. Оценивание
1.4. Линейность
1.5. Точечное и интервальное оценивание
1.6. Историческая справка
1.7. Обозначения
Глава II. ФОРМУЛИРОВКА ЗАДАЧИ
А. ДЕТЕРМИНИСТИЧЕСКИЕ МОДЕЛИ
2.2. Структурная модель
2.3. вычисление параметров
2.4. Приведенная модель
2.5. Области применения
Б. ДАННЫЕ
2.6. Эксперименты и матрица данных
В. ВЕРОЯТНОСТНЫЕ МОДЕЛИ И ФУНКЦИЯ ПРАВДОПОДОБИЯ
2.8. Нормальное распределение
2.9. Равномерное распределение
2.10. Распределение ошибок
2.11. Стохастическая форма модели
2.12. Функция правдоподобия для стандартной приведенной модели
2.13. Функция правдоподобия для структурных моделей
2.14. Пример
2.15. Использование предположений о законе распределения
Г. АПРИОРНАЯ ИНФОРМАЦИЯ И АПОСТЕРИОРНОЕ РАСПРЕДЕЛЕНИЕ
2.18. Информативные и неинформативные априорные распределения
2.19. Теорема Байеса
Глава III. ОЦЕНКИ ПАРАМЕТРОВ И ИХ СВОЙСТВА
3.2. Свойства выборочного распределения
3.3. Оценка статистических характеристик
Б. МАТЕМАТИЧЕСКИЕ АСПЕКТЫ
3.5. Оптимизация без ограничений
3.6. Ограничения типа равенств
3.7. Ограничения типа неравенств
Глава IV. МЕТОДЫ ОЦЕНИВАНИЯ
А. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
4.3. Метод наименьших квадратов со взвешиванием измерений
4.4. Множественная линейная регрессия
Б. ПРИНЦИП МАКСИМУМА ПРАВДОПОДОБИЯ
4.6. Уравнения правдоподобия
4.7. Нормальное распределение
4.8. Неизвестная диагональная ковариационная матрица
4.9. Неизвестная общая ковариационная матрица
4.10. Случай наличия ошибок в независимых переменных
4.11. Точные структурные модели
4.12. Требования к данным
4.13. Другие виды распределений
В. БАЙЕСОВСКОЕ ОЦЕНИВАНИЕ
4.15. Мода апостериорного распределения
4.16. Оценки минимального риска
Г. ДРУГИЕ МЕТОДЫ
4.17. Метод минимакса
4.18. Метод псевдомаксимального правдоподобия
4.19. Линеаризующие преобразования
4.20. Метод минимума хи-квадрат
Глава V. ВЫЧИСЛЕНИЕ ОЦЕНОК I: ЗАДАЧИ БЕЗ ОГРАНИЧЕНИЙ
5.2. Итерационная процедура
5.3. Концепция допустимости
5.4. Сходимость
5.5. Метод наискорейшего спуска
5.6. Метод Ньютона
5.7. Метод выбора направления
5.8. Метод Марквардта
5.9. Метод Гаусса
5.10. Метод Гаусса как последовательность линейных регрессионных задач
5.11. Реализация метода Гаусса
5.12. Методы переменной метрики
5.13. размер шага
5.14. Метод интерполяции — экстраполяции
5.15. Условие останова
5.16. Замечания, касающиеся сходимости
5.17. Методы без вычисления производных
5.18. Конечные разности
5.19. Методы прямого поиска
5.20. Начальные приближения
5.21. Однооткликовая задача наименьших квадратов
5.22. Учет априорной информации
5.23. Двухоткликовая задача максимума правдоподобия
Глава VI. ВЫЧИСЛЕНИЕ ОЦЕНОК II: ЗАДАЧИ С ОГРАНИЧЕНИЯМИ
6.2. Проекционные методы
6.3. Проекции при ограничениях на параметры
6.4. Преобразование переменных
6.5. Минимаксные задачи
Б. ОГРАНИЧЕНИЯ ТИПА РАВЕНСТВ
6.7. Контроль сходимости
6.8. Некоторый особые случаи
6.9. Штрафные функции
6.10. Линейные ограничения типа равенств
6.12. Метод наименьших квадратов — метод проекции
6.13. Ошибки у независимых переменных
6.14. Модель, заданная в неявной форме
Глава VII. ИНТЕРПРЕТАЦИЯ ОЦЕНОК
7.2. Методы интерпретации по виду поверхности отклика
7.3. Канонический вид
7.4. Выборочное распределение
7.5. Ковариационная матрица оценок
7.6. Точная структурная модель
7.7. Ограничения
7.8. Главные компоненты
7.9. Доверительные интервалы
7.10. Доверительные области
7.11. Линеаризация
7.12. Апостериорное распределение
7.13. Остатки
7.14. Ошибки у независимых переменных
7.15. Адекватность модели
7.16. Критерии, основанные на остатках
7.17. Серии в наблюдениях и выбросы
7.18. Причины неудач
7.19. Предсказание по модели
7.20. Преобразование параметров
7.21. Метод наименьших квадратов для единственного уравнения
7.22. Изучение с помощью метода Монте-Карло
7.23. Ошибки у независимых переменных
7.24. Метод максимального правдоподобия для модели с двумя уравнениями
Глава VIII. ДИНАМИЧЕСКИЕ МОДЕЛИ
8.1. Модели, включающие дифференциальные уравнения
8.2. Стандартные динамические модели
8.3. Модели, сводящиеся к стандартному виду
8.4. Вычисление целевой функции и ее градиента
8.5. Численное интегрирование
8.6. Некоторые трудности, связанные с динамическими системами
8.7. Задачи химической кинетики
8.8. Линейная зависимость уравнений
Глава IX. НЕКОТОРЫЕ СПЕЦИАЛЬНЫЕ ЗАДАЧИ
9.2. Неоднородные ковариационные матрицы
9.3. Последовательное оценивание
9.4. Вычислительные аспекты
9.5. Стохастическая аппроксимация
9.6. Задача с пропущенными данными
9.7. Другая задача с пропущенными данными
9.8. Задача с последовательным оцениванием
Глава X. ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
10.2. Информация и неопределенность
10.3. Критерий планирования для оценивания параметров
10.4. Критерий планирования для предсказания
10.5. Критерий планирования для дискриминации моделей
10.6. Правила останова
10.7. Некоторые практические соображения
10.8. Соображения вычислительного характера
10.9. Имитация экспериментов на вычислительной машине
10.10. Планирование для принятия решения
Приложение А. МАТРИЧНЫЙ АНАЛИЗ
А.2. Дифференцирование матриц
A.3. Элементарные кручения и выметания
А.4. Собственные значения и собственные векторы вещественной симметричной матрицы
А.5. Спектральные разложения
Приложение Б. ВЕРОЯТНОСТЬ
Приложение В. ТЕОРЕМА РАО-КРАМЕРА
Приложение Г. ПОЛУЧЕНИЕ ВЫБОРКИ ИЗ ЗАДАННОГО МНОГОМЕРНОГО НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ
Приложение Д. ТЕОРЕМА ГАУССА-МАРКОВА
Приложение Е. ТЕОРЕМА СХОДИМОСТИ ДЛЯ ГРАДИЕНТНЫХ МЕТОДОВ
Приложение Ж. НЕКОТОРЫЕ ПРОГРАММЫ ОЦЕНИВАНИЯ
БИБЛИОГРАФИЯ
ПРИЛОЖЕНИЕ К РУССКОМУ ПЕРЕВОДУ

Источник

Первый слайд презентации: Cеминар №29. (методичка 31) Спектральное и сингулярное разложение матриц (R S tudio )

Изображение слайда

разложение вектора по базису = влияние линейного оператора на вектор
Линейный оператор представляет ту самую матрицу, где столбцы – это вектора базиса

Изображение слайда

Слайд 3: Задание 1 стр. 2-4 Найти каким окажется вектор а=(7, 20) после поворота на пи/3 против часовой стрелки

Новые координаты: Y = AX. Отобразим поворот

Изображение слайда

Слайд 4: Задание 2. стр. 4- 5. Найти какой окажется функция f(x)= x+sin (x) после поворота на пи/3 против часовой стрелки

Отобразим поворот не для 1 точки, а множество точек.
Рисуем начальную функцию. Создаем матрицу множества точек X. Преобразуем их Y= AX. Дорисуем новую функцию.

Изображение слайда

Слайд 5: Задание 3. стр. 5-7. Матрица линейного оператора Ae в базисе e i (старый). Матрица перехода P к новому базису f i. Найти матрицу оператора Af (нового) в новом базисе

Есть правило нахождения нового базиса. Используем его
Есть правило нахождения старого базиса. Можно использовать для проверки

Изображение слайда

Слайд 6: Собственные числа и собственные векторы матриц

Предложенная Леонтьевым динамическая межотраслевая модель является классическим примером использования систем дифференциальных уравнений в исследовании проблем экономического роста.
Эта модель, включающая дополнительно матрицу коэффициентов капиталоемкости , определяет траектории сбалансированного экономического развития. Качественные свойства этих траекторий зависят от матрицы В (I — А 1. При некоторых условиях величина, обратная наибольшему собственному значению матрицы, определяет максимально возможный ( технологический ) темп рироста экономики, а соответствующий этому значению собственный вектор характеризует необходимые пропорции между объемами производства продукции на магистральном (с максимальным темпом прироста ) участке экономического развития. [c.448 ]
https://economy-ru.info/info/5371 /

Изображение слайда

https://repetitors.info/otvet/? t=8051
Собственные вектора не зависят от матрицы оператора, а только от самого оператора. Т. е. у подобных матриц одни и те же собственные вектора и числа. На собственных векторах оператор действует, как гомотетия с коэффициентом соответствующим собственному числу. Т. е. вдоль собственных направлений происходит только растяжение или сжатие пространства, а саму прямую собственных векторов оператор оставляет на месте.
2 ) Второе, и не менее важное: язык собственных векторов и собственных чисел очень удобен для того, чтобы понять и осмыслить, как действует та или иная матрица или тот или иной оператор.
Собственные векторы — это векторы, на которые матрица действует самым простым образом: либо не изменяет его направления (растягивает, сжимает либо оставляет без изменения), либо меняет на противоположное (и опять-таки после этого растягивает-сжимает-оставляет), либо обращает в ноль. И если, предположим, в трёхмерном пространстве мы знаем, что один вектор под действием матрицы растягивается втрое, другой превращается в противоположный, а третий обнуляется, то мы примерно уже и представляем, как этот оператор действует на любой вектор пространства: этот вектор нужно разложить по базису из упомянутых собственных векторов, каждое слагаемое умножить либо на 3, либо на -1, либо на 0, а потом всё сложить. Это удобное и наглядное представление — во всяком случае, более наглядное (обычно), чем исходное определение, описывающее умножение матрицы на вектор.
На всякий случай: собственные векторы не всегда образуют базис, но если, например, матрица симметричная, то в этом случае уже всегда найдётся ортонормированный базис из собственных векторов. В частности, в механике так называемый тензор инерции, который, действуя на вектор угловой скорости, даёт вектор момента количества движения, задаётся именно такой матрицей. А её собственные векторы определяют направления осей, при вращении вокруг которых векторы угловой скорости и момента импульса сонаправлен ы

Изображение слайда

Слайд 9: Задание 4. Матрица линейного оператора в некотором базисе имеет вид. Найти собственные значения и собственные векторы данного оператора

Каждому значению соответствует свой вектор.
Длины каждого из собственных векторов в нашем случае равны единице, но ортогональности между векторами нет. Проверьте

Изображение слайда

Слайд 10: Спектральное разложение

Если матрица линейного оператора вещественная и симметричная, то существует ортонормированный базис построенный из ее собственных векторов, в котором матрица оператора имеет диагональный вид, причем, на главной диагонали стоят соответствующие собственные значения.
В R получить такое разложение матрицы не представляет никакой проблемы, т.к. возвращаемая матрица из столбцов собственных векторов eigen ( Ae )$ vectors сама и является матрицей перехода P к новому ортонормированному базису, который диагонализирует оператор
Такое разложение матриц часто называют спектральным, а матрицу перехода P – ортогональным преобразованием, т.к. фактически она определяет собой поворот одного ортонормированного базиса к другому ортонормированному.

Изображение слайда

Слайд 11: Задание 5. стр 9-11. Для матрицы линейного оператора в некотором ортонормированном базисе Найти ортогональное преобразование, приводящее ее к диагональному виду

Найдем ее собственные значения d и собственные векторы P, получим ее диагональный вид D в новом базисе и проверим истинность найденного разложения
В этом случае матрица P, состоящая из столбцов ортонормированного базиса, обладает особыми свойствами
Такие матрицы, кстати, называются ортогональными.

Изображение слайда

Слайд 12: Задание 6. стр 11-12. (практическое применение). Привести квадратичную форму методом ортогональных преобразований к каноническому виду

Запишем матрицу квадратичной формы
после чего нам остается найти ее спектральное разложение. Данную задачу для этой матрицы мы уже решили в предыдущем примере 5 (см. рис.3). Диагональная матрица квадратичной формы при этом получилась
что приводит к следующему каноническому виду квадратичной формы в новых переменных

Изображение слайда

Слайд 13: Сингулярное разложение матриц* ( Singular Values Decomposition, SVD )

Если вещественные квадратные матрицы допускают спектральное разложение
где ортогональная матрица, составленная из
собственных векторов матрицы, а
собственные значения матрицы
Одним из частично обобщающих разложений является сингулярное разложение матриц. По теореме Дж. Форсайт для любой квадратной вещественной матрицы найдутся такие две ортогональные матрицы и той же размерности, что будет выполняться следующее разложение, называемое сингулярным :
Причем, всегда можно так выбрать матрицы и
, чтобы числа, стоящие на главной диагонали
располагались по убыванию

Изображение слайда

https://nashaucheba.ru/v40621/ солодовников_а.с.,_бабайцев_в.а.,_браилов_а.в._математика_в_экономике? page=14
Множество всех собственных значений матрицы А называется ее спектром.
https://present5.com/linejnaya-algebra-1-matricy-i-opredeliteli-2-sistemy / 50-60 слайды
http:// pmpu.ru/vf4/algebra2/svd
– Выручает то обстоятельство, что практические приложения сингулярного разложения не требуют знания всех сингулярных чисел, а только лишь наибольших из них в количестве, существенно меньшем порядка матрицы.
https:// www.coursera.org/lecture/vvedeniye-v-nauku-o-dannykh/singhuliarnoie-razlozhieniie-matritsy-QVlvX видео
https://habr.com/ru/users/snikolenko/posts / о вероятностных моделях
http:// www.algorithmist.ru/2010/11/svd.html?m=1 о сингулярном разложении SVD
Сингулярное разложение ( Singular Values Decomposition, SVD) является удобным методом при работе с матрицами. Cингулярное разложение показывает геометрическую структуру матрицы и позволяет наглядно представить имеющиеся данные. Сингулярное разложение используется при решении самых разных задач — от приближения методом наименьших квадратов и решения систем уравнений до сжатия и распознавания изображений http:// strijov.com/files/eksamen/l_svd.pdf

Изображение слайда

О Сингулярных таблицах в анализе данных, на примере данных о собаках (челюсть, зубы и т.п.)
http:// www.algorithmist.ru/2010/11/svd.html?m=1 хороший разбор SVD, с графикой
https://habr.com/ru/company/surfingbird/blog/140555 / svd в рейтингах
https://habr.com/ru/post/476222 / svd о пользователях и продуктах

Изображение слайда

Слайд 16: Задание 7 (не 6). стр 13-15. Для матрицы найти ее сингулярное разложение

найдем ее сингулярные значения d, левую и правую матрицы разложения U и V, получим диагональный вид D в сингулярном разложении и проверим истинность найденного разложения по формуле
Спектральное разложение

Изображение слайда

Слайд 17: Замечание к заданию 7

Сингулярное разложение оказывается определено и для неквадратных матриц. Отличие – матрица не будет квадратной и уж тем более ортогональной

Изображение слайда

Слайд 18: Д/З стр.15-16

№ 1 а) как №1.
№ 3 а) как № 4 б)
№ 4 б ) как № 5 и 7, сравнить!
Спектральное Сингулярное
Ранг=3
Дополнительно (ответы на след слайде)
№ 2 – 0,3 балла () как №1 № 3 с) – 0,3 балла () как №4
№ 4 а) – 0,3 балла () с) 0,3 балла () как № 5 и 7, сравнить
№ 5 а) – 0,3 балла () как №6

Изображение слайда

Слайд 19: Д/З стр.15-16. Дополнительно. ответы

№ 2 – 0,3 балла () как №1
№ 3 с) – 0,3 балла () как № 4, меняйте pi/3.
путем перебора найдите ответ, укажите в комментах
№ 4 а) – 0,3 балла () с) 0,3 балла () как № 5 и 7, сравнить!
Ранг =2 ранг=2
№ 5 а) – 0,3 балла () как №6

Изображение слайда

Почитать об R
https://ru.wikibooks.org/wiki/Язык_программирования_R
https://stat.ethz.ch/R-manual/
https://aakinshin.net/ru/posts/r-functions/
https://r-analytics.blogspot.com/p/blog-page_06.html
https://ru.wikipedia.org/wiki/ Матрица_(математика )
https:// toehelp.ru/theory/math/lecture12/lecture12.html

Изображение слайда

Источник

The following result is useful

“A matrix is normal if and only if it is unitarily similar to a diagonal matrix, and therefore any matrix A satisfying the equation $A^{*}A=AA^{*}$ is diagonalizable”. That is

$$ mathbf{A} = mathbf{U} mathbf{Lambda} mathbf{U}^* . $$

The next step is to find the eigenvectors $v_i$. Once that done, then you can get the matrices $P_i$ such that

$$ P_i = v_iv^{*}_i, $$

which gives,

$$ A=(2-i)P_1+(3-i)P_2-iP_3 = (2-i)v_1v^{*}_1+ (3-i)v_2v^{*}_2-i v_3v^{*}_3. $$

Note: You should check that $P_i,i=1,2,3$ satisfy the properties you listed above.

Eigenvectors: I computed the eigenvectors by Maple which corresponds to the eigenvalues that you already computed $2-i,3-i,-i$ respectively

$$v_1= left[ begin {array}{c} 1\0
\1 end {array} right ], v_2=left[ begin {array}{c} -1\1
\1 end {array} right ], v_3=left[ begin {array}{c} -1\-2
\1 end {array} right ] $$

Источник

`eigen` спектральное разложение матрицы

Description

Вычисляет собственные значения и собственные векторы числовых (двойных,целочисленных,логических)или комплексных матриц.

Usage

eigen(x, symmetric, only.values = FALSE, EISPACK = FALSE)

Arguments

`x`	числовая или комплексная матрица,спектральное разложение которой должно быть вычислено.Логические матрицы преобразуются в числовые.
`symmetric`	если `TRUE` , матрица считается симметричной (или эрмитовой, если комплексная), и используется только ее нижний треугольник (включая диагональ). Если `symmetric` не указан, используется `isSymmetric(x)` .
`only.values`	если `TRUE` , вычисляются и возвращаются только собственные значения, в противном случае возвращаются как собственные значения, так и собственные векторы.
`EISPACK`	логичным.Несостоятельны и игнорируются.

Details

Если symmetric не isSymmetric(x) , isSymmetric (x) определяет, является ли матрица симметричной с точностью до правдоподобных числовых неточностей. Более надежно и, как правило, гораздо быстрее установить значение самостоятельно.

Вычисление собственных векторов является медленной частью для больших матриц.

Вычисление собственного разложения матрицы подвержено ошибкам на реальном компьютере: окончательный анализ проведен Уилкинсоном (1965). Все, на что вы можете надеяться, – это решение проблемы, достаточно близкой к x . Таким образом, даже если реальный асимметричный x может иметь алгебраическое решение с повторяющимися действительными собственными значениями, вычисленное решение может иметь аналогичную матрицу с комплексно сопряженными парами собственных значений.

Неудачные результаты из базового кода LAPACK приведут к ошибке, дающей положительный код ошибки (чаще всего 1 ): их можно интерпретировать только путем подробного изучения кода FORTRAN.

Value

Спектральное разложение x возвращается в виде списка с компонентами

values

вектор,содержащийpсобственные значения x , отсортированные в порядке убывания , согласно Mod(values) в асимметричном случае, когда они могут быть сложными (даже для реальных матриц). Для реальных асимметричных матриц вектор будет комплексным, только если обнаружены комплексно сопряженные пары собственных значений.

vectors

either ap * pматрица, столбцы содержат собственные векторы x , или NULL , если only.values это значение TRUE . Векторы нормированы на единицу длины.

Напомним,что собственные векторы определены только до константы:даже при указании длины они все равно определены только до скаляра с модулем один (знак вещественных матриц).

Когда only.values не истинно, по умолчанию результат имеет класс S3 "eigen" .

Если r <- eigen(A) , а V <- r$vectors; lam <- r$values , тогда

A = V Lmbd V^(-1)

(с точностью до числового пуха), гдеLmbd =diag(lam).

Source

eigen использует подпрограммы LAPACK DSYEVR , DGEEV , ZHEEV и ZGEEV .

LAPACK взят с https://www.netlib.org/lapack/, и его руководство приведено в ссылках.

References

Андерсон. E. и десять других (1999) Руководство пользователя LAPACK . Третье издание. СИАМ.
Доступно в Интернете по адресу https://www.netlib.org/lapack/lug/lapack_lug.html .

Becker, RA, Chambers, JM и Уилкс, AR (1988) Новый S Язык . Уодсворт и Брукс / Коул.

Уилкинсон, Дж. Х. (1965) Алгебраическая проблема собственных значений. Кларендон Пресс, Оксфорд.

Examples

eigen(cbind(c(1,-1), c(-1,1)))
eigen(cbind(c(1,-1), c(-1,1)), symmetric = FALSE)


eigen(cbind(1, c(1,-1)), only.values = TRUE)
eigen(cbind(-1, 2:1)) 
eigen(print(cbind(c(0, 1i), c(-1i, 0)))) 

eigen(cbind( 1, 3:1, 1:3))
eigen(cbind(-1, c(1:2,0), 0:2))

R

4.1

dynload Иностранный функциональный интерфейс

Загрузка или выгрузка DLL (также известных как разделяемые объекты),а также проверка доступности подпрограммы функции Fortran.
eapply Применить функцию к значениям в среде

eapply применяет FUN к именованным значениям из окружения и возвращает результаты в виде списка.
encodeString Кодировать вектор символов как для печати

encodeString экранирует вектор символов строк так же,как это делает print.default,и по желанию вписывает кодировку в ширину поля.
Encoding Чтение или установка объявленных кодировок для вектора символов

Чтение или установка объявленных кодировок для вектора символов.

Источник

Теория собственных векторов и собственных значений матрицы[править | править код]

Разложение матрицы с помощью собственных векторов[править | править код]

Пример[править | править код]

Обращение матрицы через разложение по собственным векторам[править | править код]

Практическое значение[4][править | править код]

Функциональное исчисление[править | править код]

Примеры[править | править код]

Разложение специальных матриц[править | править код]

Нормальные матрицы[править | править код]

Вещественные симметричные матрицы[править | править код]

Полезные факты[править | править код]

Полезные факты о собственных значениях[править | править код]

Полезные факты о собственных векторах[править | править код]

Полезные факты о разложении с помощью собственных векторов[править | править код]

Полезные факты об обратной матрице[править | править код]

Численные вычисления[править | править код]

Численное вычисление собственных значений[править | править код]

Численное вычисление собственных векторов[править | править код]

Дополнительные темы[править | править код]

Обобщённые собственные пространства[править | править код]

Сопряжённый собственный вектор[править | править код]

Обобщённая задача нахождения собственных значений[править | править код]

См. также[править | править код]

Примечания[править | править код]

Литература[править | править код]

Ссылки[править | править код]

Первый слайд презентации: Cеминар №29. (методичка 31) Спектральное и сингулярное разложение матриц (R S tudio )

Слайд 3: Задание 1 стр. 2-4 Найти каким окажется вектор а=(7, 20) после поворота на пи/3 против часовой стрелки

Слайд 4: Задание 2. стр. 4- 5. Найти какой окажется функция f(x)= x+sin (x) после поворота на пи/3 против часовой стрелки

Слайд 5: Задание 3. стр. 5-7. Матрица линейного оператора Ae в базисе e i (старый). Матрица перехода P к новому базису f i. Найти матрицу оператора Af (нового) в новом базисе

Слайд 6: Собственные числа и собственные векторы матриц

Слайд 9: Задание 4. Матрица линейного оператора в некотором базисе имеет вид. Найти собственные значения и собственные векторы данного оператора

Слайд 10: Спектральное разложение

Слайд 12: Задание 6. стр 11-12. (практическое применение). Привести квадратичную форму методом ортогональных преобразований к каноническому виду

Слайд 13: Сингулярное разложение матриц* ( Singular Values Decomposition, SVD )

Слайд 16: Задание 7 (не 6). стр 13-15. Для матрицы найти ее сингулярное разложение

Слайд 17: Замечание к заданию 7

Слайд 18: Д/З стр.15-16

Слайд 19: Д/З стр.15-16. Дополнительно. ответы

eigen спектральное разложение матрицы

Description

Usage

Arguments

Details

Value

Source

References

See Also

Examples

R 4.1

Вам также может понравиться

Как найти жилье в контакте

Как найти элементы массива которые меньше 8

Как найти торрент без вирусов

Добавить комментарий Отменить ответ

Практическое значение^[4][править | править код]

`eigen` спектральное разложение матрицы

R

4.1