Шпаргалка: лінійна алгебра — Лінійна алгебра

Системи лінійних рівнянь

Матричний запис
Систему зручно писати як $Ax=b$ : $A$ — коефіцієнти, $x$ — невідомі, $b$ — праві частини.
$Ax=b$
Гаус / Гаус–Жордан
Елементарні перетворення рядків не змінюють множину розвʼязків; ведуть до ступінчастого / зведеного вигляду.
$[A\mid b]\;\xrightarrow{\text{рядкові оп.}}\;\text{RREF},\quad x\text{ читають з ведучих}$
0 розвʼязків / 1 / нескінченно багато — залежить від рангу й вільних змінних.
Існування та єдиність
Система сумісна, коли $b$ лежить у стовпцевому просторі $A$ . Єдиний розвʼязок — коли немає вільних змінних.
$\mathrm{rank}\,A=\mathrm{rank}[A|b]\Rightarrow\text{сумісна};\quad \mathrm{rank}\,A=n\Rightarrow\text{єдиність}$

Матриці

Добуток матриць
Склад двох лінійних дій підряд. $(AB)_{ij}$ — скалярний добуток $i$ -го рядка $A$ на $j$ -й стовпець $B$ .
$(AB)_{ij}=\sum_k a_{ik}b_{kj}$
Зазвичай $AB\neq BA$ .
LU-розклад
Часто $A=LU$ : нижня × верхня трикутна — зручно розвʼязувати багато систем з тією ж $A$ .
$A=LU,\quad Ly=b,\quad Ux=y\quad(\text{за потреби }PA=LU)$

Обернена матриця та визначник

Обернена
$A^{-1}$ «відкочує» дію $A$ . Існує лише для квадратних повного рангу.
$AA^{-1}=A^{-1}A=I$
Визначник
Число, що кодує орієнтований обʼєм паралелепіпеда зі стовпців; $\det=0$ ⟺ матриця вироджена.
$\det(AB)=\det A\cdot\det B,\quad \det A\neq 0\iff A\text{ оборотна}$
Правило Крамера
Для малих квадратних систем із $\det A\neq 0$ — формули через визначники.
$x_i=\frac{\det A_i}{\det A}$
Практично рідко для великих $n$ ; зручніше Гаус.

Векторні простори

Базис і розмірність
Базис — мінімальний набір «координатних осей». Розмірність — скільки незалежних напрямів.
$\dim V=n\iff\text{існує базис з }n\text{ векторів}$
Лінійна незалежність
Жоден вектор не є комбінацією інших — немає «зайвих» напрямів.
$c_1v_1+\cdots+c_kv_k=0\Rightarrow c_1=\cdots=c_k=0$

Підпростори та ранг

Чотири фундаментальні підпростори
Для $A\in\mathbb{R}^{m\times n}$ : стовпцевий, рядковий, нуль-простір і лівий нуль-простір — повна картина «що $A$ робить».
$\dim N(A)=n-\mathrm{rank}\,A,\quad \dim C(A)=\mathrm{rank}\,A$
Ранг
Кількість незалежних рядків (= стовпців). Вимірює «справжній» розмір дії матриці.
$\mathrm{rank}\,A=\dim C(A)=\dim C(A^T)$

Лінійні перетворення

Матриця відображення
У фіксованих базисах лінійне $T$ — це просто множення на матрицю.
$[T(v)]_B=A[v]_B$
Зміна базису
Та сама дія в інших координатах: подібність матриць.
$A'=P^{-1}AP$

Ортогональність

Скалярний добуток і норма
Кут і довжина в просторі. Ортогональність: «перпендикулярність».
$\langle u,v\rangle=u\cdot v,\quad \|u\|=\sqrt{\langle u,u\rangle},\quad u\perp v\iff\langle u,v\rangle=0$
Проєкція
Найближча точка підпростору / прямої — тінь під прямим кутом.
$\mathrm{proj}_a b=\frac{a\cdot b}{a\cdot a}\,a$
Грама–Шмідт і QR
З будь-якого базису робимо ортогональний; матрично це $A=QR$ .
$u_1=v_1,\ u_j=v_j-\sum_{i<j}\mathrm{proj}_{u_i}v_j;\quad e_j=u_j/\|u_j\|;\quad A=QR$
$Q$ — ортонормовані стовпці, $R$ верхня трикутна; перевірка $Q^TQ=I$ або $A=QR$ .
МНК (least squares)
Коли $Ax=b$ несумісна — шукаємо $x$ , що мінімізує $\|Ax-b\|$ .
$A^TAx=A^Tb$

Власні значення

Означення
Напрямки, які матриця лише розтягує/стискає (не крутить убік).
$Av=\lambda v,\ v\neq 0\iff\det(A-\lambda I)=0$
Діагоналізація
У власному базисі матриця — діагональ зі $\lambda$ ; степені й експоненти стають простими.
$A=PDP^{-1}\Rightarrow A^k=PD^kP^{-1}$
Не кожна матриця діагоналізовна; тоді зʼявляється форма Жордана.
Симетричні матриці
Дійсні власні значення + ортогональна діагоналізація. Позитивна визначеність ↔ усі $\lambda>0$ .
$A=A^T\Rightarrow A=QDQ^T;\quad A>0\iff x^TAx>0\ (x\neq 0)$
Холецький
Для додатно визначених: $A=LL^T$ — швидкі й стійкі розвʼязки систем.
$\ell_{11}=\sqrt{a_{11}},\ \ell_{i1}=a_{i1}/\ell_{11},\ \ell_{ii}=\sqrt{a_{ii}-\sum_{k<i}\ell_{ik}^{2}}$
$A=LL^T$ з $\ell_{ii}>0$ ; далі $Ly=b$ , $L^Tx=y$ .

Спеціальні матриці та SVD

Ортогональні / унітарні
Зберігають довжини й кути (повороти/відбиття). Власні значення на одиничному колі.
$Q^TQ=I\iff Q^{-1}=Q^T$
Марковські
Стовпці (або рядки) — ймовірності переходів; стаціонарний розподіл — власний вектор з $\lambda=1$ .
$P\mathbf{1}=\mathbf{1}\ \text{(стохастичність за рядками/стовпцями — за домовленістю)}$
SVD
Будь-яку матрицю розкладають на поворот–розтяг–поворот. Основа стиснення, PCA, псевдооберненої.
$A=U\Sigma V^T,\quad A^TAv_i=\sigma_i^{2}v_i,\quad Av_i=\sigma_i u_i$
Найкраще наближення рангу $k$ : $A_k=\sum_{i=1}^{k}\sigma_i u_i v_i^T$ .

Застосування в даних і обчисленнях

Зображення й тексти як вектори
Фото → матриця/вектор + PCA/SVD (обличчя, стиснення кадрів, фільтри). Текст → TF-IDF/ембедінги + косинус (пошук FAQ, спам, новини, рекомендації).
Ітерації та лінійна класифікація
Степеневий метод / Марков — PageRank і centrality. Градієнтний спуск — навчання й великі $Hx=b$ . Гіперплощина $w^\top x+b$ — скоринг, антифрод, первинний медіаскринінг.
$x_{k+1}=\frac{Ax_k}{\|Ax_k\|},\qquad w^{\mathsf{T}}x+b=0$

Системи лінійних рівнянь

Матричний запис

Гаус / Гаус–Жордан

Існування та єдиність

Матриці

Добуток матриць

LU-розклад

Обернена матриця та визначник

Обернена

Визначник

Правило Крамера

Векторні простори

Базис і розмірність

Лінійна незалежність

Підпростори та ранг

Чотири фундаментальні підпростори

Ранг

Лінійні перетворення

Матриця відображення

Зміна базису

Ортогональність

Скалярний добуток і норма

Проєкція

Грама–Шмідт і QR

МНК (least squares)

Власні значення

Означення

Діагоналізація

Симетричні матриці

Холецький

Спеціальні матриці та SVD

Ортогональні / унітарні

Марковські

SVD

Застосування в даних і обчисленнях

Зображення й тексти як вектори

Ітерації та лінійна класифікація