Архитектура LLM-приложений | инференс, облака, масштабирование | Podlodka Podcast #452

Описание

Продолжаем погружение с Владиславом Танковым! С устройством LLM мы уже разобрались, а теперь пора разобраться, гонять ли инференс локально или в облаке, какие модели брать, и во что можно упереться при масштабировании своего сервиса на LLM! ❓ Хочешь обсудить выпуск или задать вопрос эксперту? Вступай в наш Telegram-чат: https://t.me/podlodka 📰 Не любишь чаты, но хочешь оставаться в курсе дел и прокачивать свой IT кругозор? Подписывайся на наш Telegram-канал: там публикуются анонсы новых выпусков, а в комментах идут ценные и горячие обсуждения! 5 тысяч опытных IT-специалистов уже с нами: https://t.me/podlodkanews 👉Предложить себя в подкаст https://forms.gle/NtmaZmeDAa3MHSra7 Тайм-коды: 00:00 О чем выпуск? 04:44 Определение задач LLM 26:30 Причины использования локальных моделей 40:02 Непредсказуемость ответов моделей 51:53 Проблемы с развёртыванием моделей 01:01:35 Выбор инференс-фреймворков 01:07:58 Архитектурные паттерны в приложениях с LLM 01:20:29 Масштабирование в облачных провайдерах 01:24:42 Обновление моделей и промтов 01:28:18 Сравнение RAG и Fine-tuning 01:33:50 Влияние байесовских сетей на модели 01:37:20 Заключение