Я нарешті розібрався, як токени перетворюються в числа

Що таке embedding і як мовна модель перетворює слова на числа? У цьому відео розбираємо, як токени отримують вектори, чому схожі значення опиняються поруч і як мова перетворюється на геометрію.

Рекомендований воркшоп Кирила Сулімовського із Harness Engineering:

На воркшопі розбиратимуть, що знаходиться навколо AI-моделі: системні інструкції, інструменти, контекст, цикл агента та хуки. Також учасники зберуть власний харнес для AI-агента.

У відео:

— що таке embedding та векторне представлення;
— як токен перетворюється на список чисел;
— що означає розмірність embedding;
— чому координати можуть бути додатними й від’ємними;
— як відстань і кут показують схожість;
— що таке косинусна схожість;
— як працюють проєкції багатовимірного простору;
— чому «кіт» ближчий до «собаки», ніж до «яблука»;
— як працює арифметика векторів;
— чому один токен може отримувати різні представлення залежно від контексту;
— як embeddings використовують у семантичному пошуку, RAG і рекомендаційних системах.

Тривимірна графіка у відео — це спрощена модель. Реальні embeddings можуть мати сотні або тисячі вимірів, а значення слова визначає не одна координата, а весь вектор та його положення відносно інших векторів.

Напишіть у коментарях, яку тему розібрати наступною: attention, токенізацію, RAG чи векторні бази даних.

Підписуйтеся на «Відчайдушного програміста», якщо хочете розуміти, як AI працює під капотом, без магії та маркетингового туману.