Сингулярний розклад матриці

Сингуля́рний ро́зклад ма́триці (сингулярне представлення матриці чи англ. singular-value decomposition, SVD) — один з важливих методів розкладу матриці з дійсними або комплексними числами. Є узагальненням власного розкладу матриці невід'ємно визначеної нормальної матриці (наприклад, симетричної матриці з додатними власними значеннями) на матрицю розміру як узагальнення полярного розкладу.

Візуалізація SVD двовимірної, дійсної матриці зсуву M. Спершу, ми бачимо блакитний одиничний диск з двома векторами стандартного базису. Потім ми бачимо дію M, яка перетворює диск на еліпс. SVD розкладає M на три простих перетворення: початковий поворот V^*, масштабування Σ уздовж осі координат і кінцевий поворот U. Довжини півосей σ₁ і σ₂ є сингулярними значеннями (квадратами власних значень) M, а саме Σ_1,1 і Σ_2,2.

Візуалізація матричного множення в СПМ

Формально, сингулярний розклад матриці розміру , яка складена з дійсних або комплексних чисел, буде розкладанням на множники у вигляді , де  — матриця розміру буде дійсною або комплексною унітарною матрицею, буде -прямокутною діагональною матрицею з не від'ємними дійсними числами на діагоналі, і буде дійсною або комплексною унітарною матрицею розміру . Діагональні елементи матриці відомі як сингулярні значення матриці . Стовпчики та стовпчики називаються ліво-сингулярними векторами та право-сингулярними векторами матриці , відповідно.

Сингулярний розклад матриці можна обчислити за допомогою наступних спостережень:

• Ліво-сингулярні вектори M є множиною ортонормованих головних векторів MM^∗.
• Право-сингулярні вектори M є множиною ортонормованих головних векторів M^∗M.
• Не нульові сингулярні значення M (знаходяться на діагоналі Σ) є квадратними коренями не нульових головних значень як M^∗M, так і MM^∗.

Сингулярний розклад матриці застосовується в лінійній алгебрі для обчислення псевдоінверсії, наближення матриці, обчислення ядра або рангу матриці та інше.

Визначення

Якщо M — матриця розміру m×n чиї елементи беруться з поля K, що може бути полем дійсних або комплексних чисел.

Тоді, невід'ємне дійсне число σ є сингулярним числом для M тоді і тільки тоді, коли існують вектори одиничної довжини u ∈ K^m, v ∈ Kⁿ що виконується:

Вектори u та v називаються відповідно сингулярним зліва вектором та сингулярним справа вектором для σ.

Для матриці M існує наступне представлення, що називається сингулярним розкладом матриці:

де

Сингулярні числа, для яких існують два і більше лінійно незалежних сингулярних векторів називаються виродженими.

Невироджені сингулярні числа мають по одному лівому та правому сингулярному вектору з точністю до множника e^iφ (в випадку дійсних чисел з точністю до знака).

Властивості

• Стовпці U та V є сингулярними зліва та сингулярними справа векторами для M відповідно.

• Кількість ненульових чисел на діагоналі матриці Σ рівне rank Σ = rank M = r (ранг), тому можна скоротити матриці U та V до r стовпців, а матрицю Σ до розміру r×r і отримаємо:

Зв'язок SVD з власними значеннями матриці

SVD існує для всіх прямокутних матриць, на відміну від власних векторів і розкладу по ньому, що існує тільки для деяких квадратних матриць.

Використавши формулу SVD для M та M^*, отримаємо:

Права сторона є розкладом по власних векторах лівої сторони:

• Ненульові елементи Σ² є власними значеннями для матриць та тому ці матриці є невід'ємноозначеними (частковий випадок ермітових матриць);
• Стовпці матриці U є власними векторами матриці ;
• Стовпці матриці V є власними векторами матриці .

Цей же результат також можна отримати з визначення сингулярних значень і векторів:

Псевдоінверсія

Якщо матрицю можна розкласти як , то її псевдообернена матриця буде дорівнювати

де

Зв'язок SVD з ортогонально-проєкційними матрицями

•  — розклад ортогонально-проєкційної матриці(проєктора) в суму проєкторів,

Див. також

• Теорія матриць
• Розклад матриці
• Метод найменших квадратів
• Метод головних компонент

Джерела

• Гантмахер Ф. Р. Теория матриц. — 5-е. — М: : Физматлит, 2010. — 559 с. — ISBN 5-9221-0524-8.(рос.)