Шпаргалка: генеративний штучний інтелект
Від NLP і трансформер до базові моделі, RAG, агентів і ризиків. Коротко — для повторення перед квізом або проєктом.
Що генерує модель
Генеративний vs discriminative
Класифікатор відповідає «що це?»; генеративний — «що можна створити далі?» (текст, зображення, код).
Autoregressive генерація
Наступний token за попередніми; sampling з розподілу моделі. Температура балансує різноманітність і передбачуваність.
NLP і вбудовування
Токенізація
Текст → tokens (часто subword). Вікно контексту обмежує, скільки історії модель «бачить».
Вбудовування
Вектор сенсу; схожість — кут / косинус у просторі. База для вибірка і clustering.
Трансформер
Self-увага
Кожен token зважує інші через Q, K, V — контекст без жорсткої RNN-послідовності.
BERT vs GPT (ідея)
BERT — bidirectional кодувальник (розуміння); GPT — causal декодувальник (продовження тексту).
База й взаємодія
Попереднє навчання → тонке налаштування / prompting
Велике попереднє навчання на текст; далі адаптація: fine-tune, instruction tuning або лише підказка.
RAG
Retrieve релевантні фрагменти → додати в підказка → generate. Зменшує галюцинації про ваші дані.
Агент + інструменти
Модель планує й викликає зовнішні функції; цикл think → act → observe.
Модальності й ризики
Дифузія (ідея)
Зображення: поступовий denoising з шуму до картинки за умовою (текст).
Галюцинації й зміщення
Правдоподібне ≠ істинне. Перевіряйте факти; маркуйте AI-контент; не кладіть чутливі дані в чужий API без політики.