Инженеры Spotify разработали новый подход к использованию ИИ-агентов в разработке, который позволяет сократить расход вычислительных ресурсов на 90%. Секрет кроется в сервисе Portal, который умно распределяет задачи между разными моделями, оставляя мощную и дорогую модель Claude только для действительно сложных проблем. Остальную рутину берут на себя более дешевые и быстрые агенты.
Проблема дороговизны флагманских моделей
Многие команды сталкиваются с одной и той же дилеммой: модели уровня Claude Code обладают выдающимся умением рассуждать и писать качественный код, но их использование становится экономически нецелесообразным при обработке больших объемов данных или выполнении простых операций. Попытки просто увеличить лимиты токенов или использовать модель для всего подряд приводят к огромным счетам и переполнению контекста на рутинных задачах.
Команда Spotify решила эту проблему не путем поиска более дешевых аналогов, а через создание гибридной архитектуры. Они поняли, что не все задачи требуют «мозгов» топ-модели. Файлы с тысячами строк кода, генерация стандартных шаблонов, написание конфигурационных файлов или создание заглушек (boilerplate) — это задачи, которые можно решить с помощью более простых моделей, не теряя в качестве результата.
Как работает сервис Portal
Сервис Portal действует как умный диспетчер, который анализирует входящий запрос и решает, какой инструмент лучше всего подходит для его решения. Архитектура строится на разделении труда:
- Bulk-reader: Эта часть системы отвечает за чтение и анализ огромных файлов кода. Здесь подключена модель Gemini 2.5 Flash. Она быстро просматривает файлы на тысячи строк и формирует краткое содержание (саммари), передавая только суть проблемы дальше.
- Code-writer: Когда требуется написать стандартный, предсказуемый код, тексты или конфигурации, эту работу берет на себя другой агент. Он генерирует рутинные части, type stubs и другие переиспользуемые фрагменты, освобождая дорогие ресурсы для главного дела.
- Claude Code: Флагманская модель от Anthropic подключается только в финальной стадии или когда задача требует глубокого логического анализа. Сюда попадают задачи по исправлению сложных багов, проектированию архитектуры системы и внесению изменений, требующих тонкого понимания контекста проекта.
Такой подход гарантирует, что Claude не будет «затрачиваться» на чтение логов или генерацию простых функций, которые может выполнить любая другая модель с высокой точностью. В результате общий расход токенов падает в среднем на 90%, что делает использование таких мощных инструментов доступным даже для команд с ограниченным бюджетом.
Почему это важно для бизнеса
Экономия ресурсов — это не просто вопрос снижения счетов за API. Это возможность масштабировать процессы автоматизации. Раньше, чтобы получить результат от мощной модели, нужно было либо ждать долго, либо платить огромные деньги. Теперь, используя гибридную схему, компании могут запускать агентов для решения задач, которые раньше были финансово недоступны.
Кроме того, такой подход повышает общую эффективность работы команды. Разработчики получают быстрые ответы на рутинные вопросы и получают помощь в написании скучного кода, не теряя времени на ожидание генерации. Сложные архитектурные решения и поиск редких багов остаются заботой самой умной модели, которая работает в оптимальном режиме, не перегружаясь лишней информацией.
Инструмент уже доступен для использования. Разработчики могут подключить его к своим проектам, чтобы сразу увидеть эффект от оптимизации. Это отличный пример того, как правильная архитектура может превратить дорогой инструмент в эффективное и экономичное решение.
Для тех, кто хочет попробовать этот подход на практике, есть ссылка на репозиторий с исходным кодом и инструкциями по установке. Здесь можно найти готовые плагины для Portal, которые помогут интегрировать эту систему в текущий рабочий процесс.
В мире искусственного интеллекта скорость внедрения новых решений часто определяет успех проекта. Использование таких стратегий, как распределение нагрузки между моделями разных классов, становится стандартом для передовых команд. Это позволяет не отставать от технологического прогресса, сохраняя при этом финансовую устойчивость и эффективность разработки.
