Вектори й координати сенсу
Модуль 1Урок 5 з 56Безкоштовний модуль
Одне число — нота. Вектор — акорд: упорядкований список, скажімо [0.2, 0.8, 0.1] для «кіт». Змініть його на [0.7, 0.2, 0.3] — і відчуття зсувається в бік «пес». У моделі все живе у векторах: token embedding, вектор позиції, ваги attention. Це не списки для галочки, а координати в просторі ідей.
Простір embedding
Уявіть невидиму карту: «кіт» і «пес» поруч, «яблуко» далеко. Це простір embedding — геометрія значень. Знаменита рівність «король мінус чоловік плюс жінка дає приблизно королева» — не фокус, а наслідок того, що напрямки в цьому просторі кодують відношення. Модель не зазубрює слова, вона розкладає їх на координати й рухає точками.
Увага
Про цю рівність варто знати другу половину правди. Вона тримається лише приблизно, лише для частини відношень і лише коли з відповіді прибрати саме слово «король» — інакше найближчою точкою буде воно ж. Для відношень на кшталт «країна — столиця» напрямок працює непогано, для «слово — його антонім» майже не працює. Це властивість, яку в embedding знайшли, а не правило, за яким його будували.
Система координат і представлення
Кожен вектор сидить у своїй системі координат. У школі це (x, y), у моделях типу GPT — 768 або 4096 вимірів. Намалювати не вийде, але правило те саме: координата — це напрямок у просторі ознак. Представлення відповідає на питання «де живе це поняття?». Шар моделі схожий на поворот камери: числа ті самі, ракурс новий — спершу помітний порядок слів, далі значення, далі факти.
Порада
Додавання векторів теж має сенс: [1, 0, 0] плюс [0, 1, 0] дає [1, 1, 0] — комбінацію двох ознак. Приблизно так модель і змішує сигнали різних token одного речення: не вибирає один з них, а складає у зважену суму.
Приклад
Накресліть на папері три точки: (1, 2), (2, 1) і (5, 5). Уявіть, що це «сонце», «місяць» і «зірка». Хто до кого ближче — і чи збігається ця близькість з тим, як ви самі згрупували б ці три слова? Ви щойно зробили в двох вимірах те, що модель робить у 768.
Position encoding додає ще один вектор: «ти на 3-й позиції в реченні». Той самий token «кіт» на початку й у кінці фрази отримує різний position vector, і сумарне представлення зміщується. Так coordinate system кодує не лише «що за слово», а й «де воно стоїть» — без цього модель плутала б порядок слів.
Stack шарів — це ланцюг coordinate changes: embedding → layer 1 → layer 2 → … → logits. Кожен крок не «переписує слово», а змінює view. На виході модель дивиться на vector, який уже «знає» контекст речення — саме тому representation багатший за lookup table з одного рядка чисел.
Що запамʼятати
Вектор — це команда чисел, яка описує token у просторі. Простір embedding — карта, де близькість означає схожість. Система координат дає структуру, а шари обертають і змішують представлення. Перехід від одного числа до геометрії — головний стрибок у розумінні того, як модель тримає значення.
Перевірка
4 питанняКілька питань за матеріалом уроку. Спроб — скільки завгодно.