Шпаргалка: LLMOps
Продакшен навколо LLM: життєвий цикл, дані й пошук контексту, оцінювання, безпека, обслуговування й управління.
Життєвий цикл
Від ідеї до продакшену
Problem → prototype → eval harness → розгортання → monitor → iterate. Підказка й модель — версіоновані артефакти.
Офлайн vs онлайн
Офлайн-оцінювання на фіксованому наборі; онлайн — затримка, вартість, зворотний звʼязок користувачів, drift.
Дані й пошук контексту
Корпус знань
Джерела правди, оновлення, права доступу. Застарілий індекс = впевнені, але хибні відповіді.
RAG у ops
Слідкуйте за показником влучань пошуку контексту, порожніми відповідями й вартістю укладання/переіндексації.
Підказки й оцінювання
Eval suite
Золотий набір кейсів + метрики (точність, формат, safety). Без suite кожна зміна підказки — лотерея.
Перевірка людиною
Автоматизовані метрики не ловлять тон і політику. Вибіркова ручна перевірка критичних шляхів.
Безпека й інфра
Загрози
Інʼєкція в підказку, витік даних у журналах, обхід обмежень. Розділяйте довіру: user input ≠ system policy.
Secrets і PII
Ключі в vault; мінімум PII у підказці й журналах; scrub перед аналітикою.
Обслуговування й якість
Затримка / вартість
Кеш, менша модель для простих запитів, потокове відображення в UX. Бюджет токенів на запит.
Управління
Хто може змінювати підказку/модель у prod; відкат; слід аудиту рішень моделі в чутливих доменах.