Що означає число в моделі
Модуль 1Урок 1 з 56Безкоштовний модуль
Уявіть, що ви пояснюєте собаці слово «кіт». Собака не розуміє літер. Але якщо кожному слову дати набір чисел, машина може порівнювати, змішувати й передбачати. Саме так працює LLM: всередині немає «слів на папері» — лише довгі ряди чисел. Кожне число — це не мітка зі словника, а маленький фрагмент сенсу: наскільки слово абстрактне, наскільки часте, чи схоже воно на тварину.
Приклад
Найпростіший спосіб закодувати слова — дати кожному номер зі словника: «кіт» — 7, «пес» — 8, «яблуко» — 9. Такий код працює для пошуку по таблиці й розсипається для всього іншого: він твердить, що «пес» лежить між «котом» і «яблуком», бо 8 між 7 і 9. Номер зберігає слово, але не зберігає жодної його властивості. Тому моделі потрібен не номер, а набір чисел.
Число як представлення
Замість одного номера дамо слову три числа — по одному на кожну властивість, яка нас цікавить: наскільки воно про живе, наскільки про пухнасте, наскільки про домашнє. Тоді «кіт» — це не 7, а [0.2, 0.8, 0.1]. Один token стає не цифрою, а невеликою командою чисел, що рухається через шари разом.
Читайте цю таблицю по різницях, а не по окремих цифрах. «Кіт» і «пес» розходяться приблизно на 0,1 у кожній координаті — вони сусіди. «Яблуко» відʼїхало одразу по всіх трьох. Ось ця різниця, а не самі числа, і є те, з чим модель працює далі.
Порада
Коли ви бачите слово embedding, думайте «картка з числами для token». Модель не памʼятає «кіт» як текст — вона памʼятає координати в просторі ідей. Чим ближчі координати двох слів, тим частіше модель ставить їх у схожий контекст.
Де ця картинка перестає бути правдою
Увага
Три підписані координати — навчальне спрощення, не опис справжньої моделі. У реальному embedding їх 768 або 4096, і жодну з них ніхто не називав: немає координати «пухнастість», яку можна знайти й покрутити. Властивості розмазані по всьому вектору відразу, і те, що людина назве «домашністю», може жити в комбінації сотні координат. Тримайте цю поправку в голові щоразу, коли в курсі трапиться приклад на трьох числах.
Чому числа самі по собі мовчать
Список [0.2, 0.8, 0.1] без контексту не означає нічого: це може бути погода, рейтинг кави чи embedding слова «кіт». Сенс зʼявляється не в одному числі, а у звʼязках — як вектори наближаються, як шари їх перетворюють, як часто token трапляється поруч з іншими. «Кіт» і «пес» сидять близько не тому, що так вирішив програміст, а тому, що під час навчання модель бачила їх у схожих реченнях і підтягнула числа одне до одного.
Далі кожен шар моделі розтягує й перемішує ці числа. Слово в реченні «кіт спить на дивані» отримає інші координати, ніж те саме слово в «кіт — це персонаж мультфільму», хоч у словнику воно одне. Важливо, що при такому перетворенні відносна близькість часто виживає: «кіт» і «пес» лишаються сусідами, навіть коли обидва зсунулися. Саме на цьому тримається все передбачення наступного token.
Примітка
Числа — це алфавіт моделі, а не її мова. Без шарів, які їх змішують, модель була б сліпа до граматики й логіки: вона бачила б окремі картки й жодного звʼязку між ними. Тому наступні модулі курсу йдуть від «одного числа» до алгебри й перетворень.
Що запамʼятати
LLM думає числами: token стає вектором, шари його рухають, на виході знову текст. Одне число — лише нота; разом вони утворюють акорд сенсу. Але значення народжується у структурі — звʼязках, контексті й навчанні, а не в голій цифрі на папірці.
Перевірка
4 питанняКілька питань за матеріалом уроку. Спроб — скільки завгодно.