BerriAI-litellm

什麼是BerriAI-litellm？

LiteLLM 是一個 Python SDK 和 代理伺服器，能夠以 OpenAI 格式調用超過 100 種 LLM API，包括 Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate 和 Groq。

BerriAI-litellm的特色是什麼？

• 多平台支持: 支持多種 LLM 提供者，讓用戶可以輕鬆切換。
• 一致的輸出格式: 所有文本響應都會以相同的格式返回，方便使用。
• 重試和回退邏輯: 在多個部署之間自動處理錯誤，確保穩定性。
• 費用追蹤和速率限制: 用戶可以設置預算和速率限制，管理 API 使用情況。

BerriAI-litellm的使用案例有哪些？

• 聊天機器人: 利用 LiteLLM 建立智能聊天機器人，提供即時回應。
• 內容生成: 自動生成文章、故事或其他文本內容。
• 數據分析: 使用 LLM 進行數據分析和報告生成。

如何使用BerriAI-litellm？

1. 安裝 LiteLLM: pip install litellm
2. 設置環境變數:

   import os
   os.environ["OPENAI_API_KEY"] = "your-openai-key"
   

3. 調用 API:

   from litellm import completion
   response = completion(model="openai/gpt-4o", messages=[{"role": "user", "content": "你好！"}])
   print(response)