Я нарешті розібрався, як працюють токени

Що таке токени і як насправді LLM працює з текстом?

*Agentic Engineering Workflow від Кирила Сулімовського:*

У цьому відео розбираю, як текст перетворюється на токени, звідки вони беруться, як формується словник токенів і чому різні моделі можуть по-різному токенізувати один і той самий текст.

Поговоримо про:
— як LLM перетворює текст на числа;
— як працює токенізація;
— як формуються нові токени;
— чому слово може складатися з одного або кількох токенів;
— чому пробіл теж може бути частиною токена;
— як мова та мова програмування впливають на кількість токенів;
— і чому все це важливо при роботі з LLM.

Саме з навчання Кирила я почав глибше занурюватися в агентну розробку та всякі цікаві штуки, які відбуваються «під капотом» LLM. Якщо вас цікавить побудова AI-агентів і agentic workflow для розробки програмного забезпечення — рекомендую подивитися.

Підтримуйте український YouTube
І в першу чергу — підтримуйте ЗСУ.

Як працюють токени в LLM та що це означає для вашої роботи? Розбираємося, як влаштована агентська архітектура на практиці.

Під час навчання на курсі Кирила Сулімовського я почав глибше вивчати технічні аспекти ШІ. Багато хто з нас постійно використовує термін токени, але розуміння того, як працюють токени на рівні архітектури, значно покращує якість роботи з моделями. Це відео буде корисним для тих, хто хоче розібратися в підкапотних процесах розробки агентів та зрозуміти, як саме нейромережі обробляють інформацію.

Ми проаналізуємо ключові принципи, на яких базується ефективна агентська архітектура. Ви дізнаєтеся, чому правильне розуміння того, як працюють токени, допомагає краще налаштовувати складні системи. Це знання стане фундаментом для створення більш ефективних рішень у вашій практиці.

#260828_TOKENS_YT