KubeCon London 2025 | Kubernetes в епоху AI | @otel-official @soloio_inc @re-cinq @cncf

В цьому епізоді ми розмірковуємо над Kubernetes в епоху AI на KubeCon London 2025.
Чи прийшов час робити форк Kubernetes для AI. Чому Kubernetes не встигає за змінами, адже фундаментальні речі як залізо, нетворк, безпека та розподілення ресурсів роблять свою справу і магія тут не працює.

Розіграш борду: залишайте свої відповіді в коментарях - ми оберемо найкращій.

Kubernetes стає Platform of Choice для мульті-агентних архітектур, предиктивної аналітики, MLOps та Inference. Але побудова систем на базі LLM - це так само, як побудова на основі будь-якої іншому black box в нашій архітектурі - просто ця скринька за своєю суттю є непередбачуваною та ймовірнісною.

LLM workloads значно відрізняються за обчислювальними вимогами через довжину запиту, відмінності моделей та їх авторегресійну природу, що призводить до непередбачуваного летенсі. Більше того, поява методів мультиплексування моделей (наприклад, LoRA) вносить нові складнощі, які вимагають стратегій балансування навантаження, що враховують LLM.

LLM Prompt Security та як HAProxy експерементують з безпековою складовою LLM на рівнях load balancers ексклюзивно від Director of Solutions Engineering HAproxy.

Приєднуйся до DeadOpsClub