LiteLLM — один шлюз на все модели сразу

LiteLLM — открытый шлюз к языковым моделям: приложение обращается к одному OpenAI-совместимому адресу, а прокси решает, уйдёт запрос в OpenAI, Anthropic, Bedrock или в локальную модель. Ставится командой uv tool install 'litellm[proxy]' и поднимается на порту 4000. Открытая версия бесплатна при своём хостинге и уже умеет виртуальные ключи и бюджеты. Проверено по документации 21 августа 2026 года.

Часть 1 · Знакомство

Что такое LiteLLM и какую задачу он решает

Когда в компании работает больше одной модели, начинается знакомая возня: у каждого провайдера свой формат запроса, свой ключ, свой порядок полей и своя тарификация. Код обрастает ветками, ключи расползаются по репозиториям, а вопрос «кто сжёг бюджет за квартал» остаётся без ответа. LiteLLM убирает эту возню в отдельный слой: снаружи — привычный OpenAI-совместимый API, внутри — таблица моделей и правила, куда какой запрос отправить.

У проекта две ипостаси, и путать их не стоит. Python-SDK — библиотека, которую импортируют прямо в код. Прокси (он же AI Gateway) — отдельный сервер, который поднимают рядом с приложением; именно про него дальше весь гайд. Репозиторий BerriAI/litellm собрал 56 913 звёзд, лицензия составная: всё вне каталога enterprise/ идёт по MIT, а содержимое этого каталога — по отдельной лицензии, поэтому в карточке GitHub проект не значится как MIT.

Слой шлюза даёт не только маршрутизацию. В открытой версии есть виртуальные ключи (клиент получает свой sk-, а настоящие ключи провайдеров не покидают сервер), пользователи и команды, учёт расхода, бюджеты и ограничители по запросам и токенам, фолбэки на запасную модель, логирование запросов и ответов и метрики Prometheus. Про то, из чего вообще складывается счёт за модель, отдельно разобрано в гайде про токены и лимиты Claude.

Часть 2 · Установка

Как установить LiteLLM Proxy

# установка прокси
uv tool install 'litellm[proxy]'

# запуск на одной модели
litellm --model gpt-3.5-turbo
# INFO: Proxy running on http://0.0.0.0:4000

# подробные логи, если что-то не поднялось
litellm --model gpt-3.5-turbo --detailed_debug

# проверка из другой оболочки (нужен openai 1.0.0+)
litellm --test

Ключи провайдеров передаются переменными окружения — прокси читает их при старте. Ниже несколько маршрутов из быстрого старта; полный список в документации заметно длиннее и включает Vertex AI, SageMaker, Hugging Face, vLLM, TogetherAI, Replicate, AI21 и Cohere.

# OpenAI
export OPENAI_API_KEY=my-api-key
litellm --model gpt-3.5-turbo

# Anthropic
export ANTHROPIC_API_KEY=my-api-key
litellm --model claude-instant-1

# AWS Bedrock
export AWS_ACCESS_KEY_ID=
export AWS_SECRET_ACCESS_KEY=
export AWS_REGION_NAME=
litellm --model bedrock/anthropic.claude-v2

# локальная модель через Ollama
litellm --model ollama/<имя-модели>

# любой OpenAI-совместимый эндпоинт
litellm --model openai/<модель> --api_base http://0.0.0.0:3000

Последние два примера — самое интересное для тех, кто гоняет модели у себя. Через тот же шлюз в общий контур заводится локальная модель в Ollama и любой сторонний сервис, который умеет отвечать в формате OpenAI. Для клиента разницы нет: адрес один и тот же.

Часть 3 · Конфиг

config.yaml: список моделей и алиасы

Флаг --model годится для проверки, дальше конфиг переезжает в файл. Основа файла — список model_list, где у каждой записи два уровня: model_name — имя, которое видит клиент, и litellm_params — настоящие параметры вызова: модель провайдера, адрес и ключ. Одно и то же model_name можно повесить на несколько разных развёртываний — тогда шлюз раскладывает запросы между ними.

model_list:
  - model_name: gpt-3.5-turbo        # имя, которое видит клиент
    litellm_params:
      model: azure/<имя-развёртывания>
      api_base: <адрес-azure>
      api_key: <ключ-azure>

  - model_name: gpt-3.5-turbo        # то же имя, другое развёртывание
    litellm_params:
      model: azure/gpt-turbo-small-ca
      api_base: <адрес-второго-региона>
      api_key: <ключ-второго-региона>

Приём с одинаковыми именами и разными развёртываниями — основа отказоустойчивости: если один регион отвалился, запрос уходит в соседний, а приложение об этом даже не узнает. В документации отдельно указано, что на нагрузочных тестах прокси держит 1 500+ запросов в секунду, то есть слой не становится узким местом на обычных объёмах.

Часть 4 · Claude Code

Формат Anthropic и матрица совместимости

Обычно шлюз говорит в формате OpenAI. Но у LiteLLM есть и второй фасад — /v1/messages в формате Anthropic, и это ровно тот формат, которым разговаривает Claude Code. Важная деталь: эндпоинт не привязан к провайдеру. Запрос в формате Anthropic можно увести в OpenAI, Bedrock, Vertex AI, Gemini или Azure, и при этом сохранятся учёт расхода, логирование, стриминг, фолбэки, балансировка и ограничители. Рядом в документации лежат разделы /mcp и /skills: через шлюз проходят и MCP-серверы, и Anthropic Skills API — то есть скилы тоже попадают под общий учёт.

Под Claude Code в документации выделен целый раздел: быстрый старт, срезание расходов, авторутер, вход через Okta по JWT, работа с подпиской Max, свой ключ, гранулярный учёт расхода, статус-строка бюджета, маршрутизация кэша промптов, веб-поиск через всех провайдеров, MCP, неантроповские модели и маркетплейс плагинов с управляемыми скилами. Соседние страницы того же раздела — Claude Desktop, OpenCode, Cursor, GitHub Copilot, Gemini CLI, Qwen Code CLI и Codex. Если задача уже, чем «шлюз на всё», и нужно просто подставить одного альтернативного провайдера, короче будет путь из гайда про подключение GLM к Claude Code.

Самое полезное на этой странице — матрица совместимости. Её пересобирает не человек, а ежедневный автоматический прогон: настоящий CLI Claude Code гоняют против свежего стабильного прокси на каждом провайдере, параллельно на Haiku 4.5, Sonnet 4.6 и Opus 4.7. Ячейка зеленеет, только если проходят все три модели. Снимок на момент проверки подписан так: LiteLLM v1.97.0, Claude Code 2.1.228, сгенерировано 20 августа 2026 года. Строк в таблице пятнадцать, красных ячеек в них было три.

Снимок матрицы от 20 августа 2026 года. Она обновляется ежедневно — состав красных ячеек к моменту чтения наверняка другой.

Часть 5 · Деньги

Сколько стоит LiteLLM

Тарифы сверены по странице цен 21 августа 2026 года.

Цену Enterprise проект не публикует вовсе, но принцип расчёта на странице тарифов описан прямо: от годовой ёмкости шлюза по запросам, архитектуры развёртывания и нужного уровня поддержки, «никогда не за токены». Заявлены SOC 2 Type 2 и ISO 27001, целевые сроки ответа поддержки — час на полное падение боевого трафика, шесть часов на частичное, сутки на вопросы настройки и трое суток на уязвимость. Пощупать можно без разговора с продажами: выдаётся пробный ключ Enterprise на 30 дней без карты.

Вопросы

Частые вопросы

Читать дальше

Соседние гайды