Quartz 4

LiteLLM

active
Not verified

Created · Updated 2 min read

LLM proxy / unified API gateway на Python. Оборачивает множество LLM provider APIs (OpenAI, Anthropic, Gemini, etc) в OpenAI-compatible interface; model routing, fallbacks, cost tracking, admin UI, 100+ моделей. У нас — первый прокси, который мы поставили; сейчас выводится в пользу bifrost (production-проблемы Python-стека: memory leak при streaming, деградация TTFT через пару часов, рекомендация рестартить воркеры). Решение и сравнение — llm-proxy-choice.

Использование в BloodGPT

В session 833ec924 (LOINC port) — local dev сценарий: LiteLLM proxy на :4000 как stand-in / forwarding к cloud LLM (Gemini geo-bypass). Bifrost compatible с LiteLLM API surface — drop-in переход (смена URL). На текущий момент роль остатков LiteLLM в коде — похоже только этот local-dev stand-in; production/staging-пути TBD verify (см. llm-proxy-choice § Открытые вопросы).

Comparison с Bifrost

Локейтнут (posts/llm-gateway-comparison.md) и развёрнут в decision-странице — llm-proxy-choice (зачем прокси-слой, четыре варианта Bifrost/LiteLLM/TensorZero/Cloudflare AI Gateway, latency-бенчмарки, production-проблемы LiteLLM, compliance-рамка). Краткая суть: для прототипа LiteLLM хорош (максимум фич, 100+ моделей, UI); в production его архитектура (Python async + long-lived connections + logging и serving на одной PostgreSQL) даёт leaks и деградацию — отсюда переход на Bifrost (Go, ~11 µs overhead, без leaks).

Открытые вопросы

  • TBD verify реальное использование LiteLLM в production/staging vs только local dev (см. llm-proxy-choice)
  • Когда полностью decommission — после ревизии путей; вряд ли есть use case, где LiteLLM реально лучше Bifrost

Связано

  • llm-proxy-choice — решение: Bifrost (self-hosted), LiteLLM выводится; полное сравнение прокси
  • bifrost — основной LLM proxy в BloodGPT (compatible API surface)
  • loinc — LOINC pipeline использовал LiteLLM в local dev для Gemini bypass
  • mastra — Mastra-агенты потенциально могут idти через LiteLLM (как stand-in для Bifrost)

Источники

Источники: 1.

Сноски

  1. LiteLLM docs, accessed 2026-05-17, https://docs.litellm.ai/. ↩

Graph View

Backlinks