Ймовірність і статистикаШпаргалка

Шпаргалка: ймовірність і статистика

Короткий довідник означень і формул курсу. Відкривайте з будь-якого уроку — коли треба швидко згадати умову, сподівання чи тест.

Ймовірність подій

  • Аксіоми Колмогорова

    Ймовірність — міра на подіях: невідʼємна, P(Ω)=1P(\Omega)=1, адитивна для несумісних.

    P(A)≥0,P(Ω)=1,A∩B=∅⇒P(A∪B)=P(A)+P(B)P(A)\ge 0,\quad P(\Omega)=1,\quad A\cap B=\emptyset\Rightarrow P(A\cup B)=P(A)+P(B)

  • Умовна ймовірність і Баєс

    «За умови BB» звужує простір. Баєс перевертає P(B∣A)P(B|A) у P(A∣B)P(A|B).

    P(A∣B)=P(A∩B)P(B),P(A∣B)=P(B∣A)P(A)P(B)P(A|B)=\frac{P(A\cap B)}{P(B)},\quad P(A|B)=\frac{P(B|A)P(A)}{P(B)}

  • Незалежність

    Знання однієї події не змінює ймовірність іншої.

    P(A∩B)=P(A)P(B)  ⟺  P(A∣B)=P(A)P(A\cap B)=P(A)P(B)\iff P(A|B)=P(A)

    Попарна незалежність ≠\neq взаємна для трьох і більше подій.

Випадкові величини

  • PMF / PDF / CDF

    Дискретна — маса в точках; неперервна — густина; CDF — «накопичена» ймовірність.

    FX(x)=P(X≤x);дискр. p(x)=P(X=x);непер. F′(x)=f(x)F_X(x)=P(X\le x);\quad \text{дискр. }p(x)=P(X=x);\quad \text{непер. }F'(x)=f(x)

  • Типові розподіли

    Bernoulli/Binomial — лічильники успіхів; Poisson — рідкі події; Normal — граничний «дзвін».

    X∼Bin(n,p): P(X=k)=(nk)pk(1−p)n−k;Z∼N(0,1)X\sim\mathrm{Bin}(n,p):\ P(X=k)=\binom{n}{k}p^k(1-p)^{n-k};\quad Z\sim N(0,1)

  • Незалежність величин

    Сумісний закон розпадається на добуток маргіналів.

    fX,Y(x,y)=fX(x)fY(y)f_{X,Y}(x,y)=f_X(x)f_Y(y)

Сподівання й моменти

  • Математичне сподівання

    «Центр мас» розподілу. Лінійність працює завжди, навіть без незалежності.

    E[aX+bY]=aE[X]+bE[Y]E[aX+bY]=aE[X]+bE[Y]

  • Дисперсія, коваріація, кореляція

    Дисперсія — розкид; коваріація — спільний рух; кореляція нормована до [−1,1][-1,1].

    Var(X)=E[X2]−(E[X])2,ρX,Y=Cov(X,Y)σXσY\mathrm{Var}(X)=E[X^2]-(E[X])^2,\quad \rho_{X,Y}=\frac{\mathrm{Cov}(X,Y)}{\sigma_X\sigma_Y}

  • Марков і Чебишов

    Грубі хвости без знання повного розподілу: сподівання → ймовірність великих значень.

    P(X≥a)≤E[X]a (X≥0);P(∣X−μ∣≥kσ)≤1k2P(X\ge a)\le\frac{E[X]}{a}\ (X\ge 0);\quad P(|X-\mu|\ge k\sigma)\le\frac{1}{k^2}

Граничні теореми

  • ЗВЧ

    Середнє вибірки збігається до сподівання — основа «довгої серії».

    Xˉn→Pμ\bar X_n\xrightarrow{P}\mu

  • ЦГТ

    Після нормування сума (майже) нормальна — звідси CI і багато тестів.

    Xˉn−μσ/n→dN(0,1)\frac{\bar X_n-\mu}{\sigma/\sqrt{n}}\xrightarrow{d}N(0,1)

Оцінювання й тести

  • MLE

    Параметр, який максимізує ймовірність побачених даних (часто через log-likelihood).

    θ^=arg⁡max⁡θL(θ;x)=arg⁡max⁡θ∑ilog⁡f(xi∣θ)\hat\theta=\arg\max_\theta L(\theta;x)=\arg\max_\theta\sum_i\log f(x_i|\theta)

  • Довірчий інтервал (ідея)

    Інтервал, що з імовірністю ≈1−α\approx 1-\alpha накриває істинний параметр у повторних вибірках.

    Xˉ±z1−α/2sn(велике n, σ ≈ s)\bar X\pm z_{1-\alpha/2}\frac{s}{\sqrt{n}}\quad(\text{велике }n,\ \sigma\text{ ≈ }s)

  • p-value

    Наскільки дивні дані, якщо H0H_0 істинна. Мале pp — аргумент проти H0H_0, не «ймовірність гіпотези».

    Не плутайте з P(H0∣data)P(H_0|\text{data}) — це вже Баєс.

Баєс

  • Апостеріор

    Апріор × likelihood, нормовані. Спряжені пари (Beta–Binomial, Normal–Normal) лишають сімейство зручним.

    p(θ∣x)∝p(x∣θ) p(θ)p(\theta|x)\propto p(x|\theta)\,p(\theta)

Регресія й процеси

  • Проста лінійна регресія

    Пряма найменших квадратів: передбачення YY за XX. Кореляція ≠ причинність.

    y^=β^0+β^1x,β^1=Cov(X,Y)Var(X)\hat y=\hat\beta_0+\hat\beta_1 x,\quad \hat\beta_1=\frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(X)}

  • Ланцюг Маркова

    Майбутнє залежить від минулого лише через поточний стан.

    P(Xt+1∣Xt,…,X0)=P(Xt+1∣Xt)P(X_{t+1}|X_t,\ldots,X_0)=P(X_{t+1}|X_t)

← До програми курсу