Who Let The Dogs Out 🐾 on Nostr: LiteLLM — это прокси‑шлюз (gateway) для LLM, который ...
LiteLLM — это прокси‑шлюз (gateway) для LLM, который умеет общаться со 100+ LLM‑провайдерами, переводя все их ответы в формат OpenAI API. Это значит, что можно написать один раз код под паттерн chat/completions, а дальше переключаться в любой момент на нужную модель. Локально, например, можно установить Llama через Ollama, и обращаться к ней, а на продакшене использовать любую облачную модель, например GPT-4o, вообще не меняя код.
Этот инструмент также содержит в себе такие полезные функции, как отслеживание расходов, установка лимитов на бюджет по пользователям или группам пользователей, fallback‑механизмы моделей, логирование и другие операционные функции.
https://habr.com/ru/companies/selectel/articles/1064050/#ai #LLM #LiteLLM
Published at
2026-07-30 12:27:46 CESTEvent JSON
{
"id": "d458edaeee8f94d5be6ffe616cf93590e8879419da0ac7a9c616cccea4946fbb",
"pubkey": "758c17dd844b7702107be6aa2045c6a9b1f27c1014a5fdbcdf9829dd70b17e82",
"created_at": 1785407266,
"kind": 1,
"tags": [
[
"t",
"ai"
],
[
"t",
"LLM"
],
[
"t",
"litellm"
],
[
"proxy",
"https://mastodon.ml/users/ashed/statuses/117008450608515575",
"activitypub"
]
],
"content": "LiteLLM — это прокси‑шлюз (gateway) для LLM, который умеет общаться со 100+ LLM‑провайдерами, переводя все их ответы в формат OpenAI API. Это значит, что можно написать один раз код под паттерн chat/completions, а дальше переключаться в любой момент на нужную модель. Локально, например, можно установить Llama через Ollama, и обращаться к ней, а на продакшене использовать любую облачную модель, например GPT-4o, вообще не меняя код.\n\nЭтот инструмент также содержит в себе такие полезные функции, как отслеживание расходов, установка лимитов на бюджет по пользователям или группам пользователей, fallback‑механизмы моделей, логирование и другие операционные функции. \n\nhttps://habr.com/ru/companies/selectel/articles/1064050/\n\n#ai #LLM #LiteLLM",
"sig": "f83954d030e36c8c60614246e8524fc5a342ddd9dfb13974025dec8e180f1a82f78386efd7e5bbf58f586496f59885ddd67e08500d51d6f9582b705abe9d6ba5"
}
