Математика для LLMШпаргалка

Шпаргалка: математика для LLM

Формули й ідеї курсу в одному місці: від нормалізації activations до softmax, loss і градієнтного спуску. Терміни в тілі — англійською, як у уроках.

Масштаб чисел

  • Min-max scaling

    Спільна шкала 0–1: великі й дрібні features перестають «кричати» одне на одного.

    x′=x−min⁡max⁡−min⁡x'=\frac{x-\min}{\max-\min}

  • Z-score / LayerNorm (ідея)

    Центр у 0, розкид ≈ 1. LayerNorm робить це по activations прикладу — gradient тече рівніше.

    z=x−μσz=\frac{x-\mu}{\sigma}

    BatchNorm дивиться на batch; у decoder-only LLM частіше LayerNorm.

Вектори й подібність

  • Скалярний добуток і косинус

    У embedding-просторі «схожість» — кут між векторами сенсу.

    cos⁡θ=u⋅v∥u∥∥v∥,u⋅v=∑iuivi\cos\theta=\frac{u\cdot v}{\|u\|\|v\|},\quad u\cdot v=\sum_i u_i v_i

  • Норми

    Довжина вектора; L2 — евклідова, L1 — сума модулів (часто в регуляризації).

    ∥x∥2=∑xi2,∥x∥1=∑∣xi∣\|x\|_2=\sqrt{\sum x_i^2},\quad \|x\|_1=\sum|x_i|

Лінійна алгебра шару

  • Лінійний шар

    Ваги × вхід + bias — одне матричне множення; далі нелінійність.

    y=Wx+by=Wx+b

  • Власні значення (сенс)

    Напрямки, які матриця лише масштабує. Спектр ваг — які «осі» посилюються.

    Av=λvAv=\lambda v

  • SVD (ідея)

    Будь-яку матрицю = поворот–розтяг–поворот; основа low-rank і стиснення.

    A=UΣVTA=U\Sigma V^{\mathsf{T}}

Похідні й backprop

  • Градієнт

    Вектор частинних похідних — напрям найшвидшого зростання loss; спуск іде проти нього.

    ∇L=(∂L/∂θ1,…,∂L/∂θn)\nabla L=\bigl(\partial L/\partial\theta_1,\ldots,\partial L/\partial\theta_n\bigr)

  • Ланцюгове правило

    Backprop = ланцюгове правило шарами: upstream gradient × локальна похідна.

    ∂L∂x=∂L∂y∂y∂x\frac{\partial L}{\partial x}=\frac{\partial L}{\partial y}\frac{\partial y}{\partial x}

Ймовірність токенів

  • Softmax

    З логітів робить розподіл імовірностей по словнику.

    pi=ezi∑jezjp_i=\frac{e^{z_i}}{\sum_j e^{z_j}}

    Віднімання max⁡z\max z перед exp — трюк стабільності, розподіл той самий.

  • Баєс (коротко)

    Апріор × likelihood → апостеріор; у генерації — «наскільки токен правдоподібний за контекстом».

    P(θ∣x)∝P(x∣θ)P(θ)P(\theta|x)\propto P(x|\theta)P(\theta)

Інформація й loss

  • Ентропія Шеннона

    Середній surprise джерела; вимірюється в бітах при log⁡2\log_2.

    H(X)=−∑xP(x)log⁡P(x)H(X)=-\sum_x P(x)\log P(x)

  • Cross-entropy

    Loss LLM: наскільки «дорого» кодувати істину розподілом моделі QQ.

    H(P,Q)=−∑xP(x)log⁡Q(x)H(P,Q)=-\sum_x P(x)\log Q(x)

  • KL-дивергенція

    Наскільки QQ відрізняється від PP; у дистиляції — учень ≈ вчитель.

    DKL(P∥Q)=∑xP(x)log⁡P(x)Q(x)=H(P,Q)−H(P)D_{\mathrm{KL}}(P\|Q)=\sum_x P(x)\log\frac{P(x)}{Q(x)}=H(P,Q)-H(P)

  • Perplexity

    «На скільки варіантів у середньому збита» модель; нижче — краще.

    PPL=2H(або eH з ln⁡)\mathrm{PPL}=2^{H}\quad(\text{або }e^{H}\text{ з }\ln)

Оптимізація

  • Градієнтний спуск

    Крок проти градієнта loss; learning rate η\eta — розмір кроку.

    θ←θ−η∇θL\theta\leftarrow\theta-\eta\nabla_\theta L

  • SGD / міні-батч

    Градієнт з частини даних — шумний, але дешевий і часто краще узагальнює.

    θ←θ−η∇LB(θ)\theta\leftarrow\theta-\eta\nabla L_{\mathcal{B}}(\theta)

  • Регуляризація

    Штраф за великі ваги (L2) або розрідженість (L1); dropout — випадкове «вимкнення» нейронів.

    Lreg=Ldata+λ∥θ∥22L_{\mathrm{reg}}=L_{\mathrm{data}}+\lambda\|\theta\|_2^2

Увага (схема)

  • Scaled dot-product attention

    Query шукає схожі Key; ваги на Value збирають контекст. Масштаб dk\sqrt{d_k} тримає softmax у здоровому режимі.

    Attention(Q,K,V)=softmax ⁣(QKTdk)V\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\!\Bigl(\frac{QK^{\mathsf{T}}}{\sqrt{d_k}}\Bigr)V

← До програми курсу