Question 1

什麼是BerriAI-litellm？

Accepted Answer

LiteLLM 是一個 **Python SDK** 和 **代理伺服器**，能夠以 OpenAI 格式調用超過 100 種 LLM API，包括 **Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate** 和 **Groq**。

Question 2

BerriAI-litellm的特色是什麼？

Accepted Answer

* **多平台支持**: 支持多種 LLM 提供者，讓用戶可以輕鬆切換。
* **一致的輸出格式**: 所有文本響應都會以相同的格式返回，方便使用。
* **重試和回退邏輯**: 在多個部署之間自動處理錯誤，確保穩定性。
* **費用追蹤和速率限制**: 用戶可以設置預算和速率限制，管理 API 使用情況。

Question 3

BerriAI-litellm的使用案例有哪些？

Accepted Answer

* **聊天機器人**: 利用 LiteLLM 建立智能聊天機器人，提供即時回應。
* **內容生成**: 自動生成文章、故事或其他文本內容。
* **數據分析**: 使用 LLM 進行數據分析和報告生成。

Question 4

如何使用BerriAI-litellm？

Accepted Answer

1. 安裝 LiteLLM: `pip install litellm`
2. 設置環境變數: 
   ```python
   import os
   os.environ["OPENAI_API_KEY"] = "your-openai-key"
   ```
3. 調用 API:
   ```python
   from litellm import completion
   response = completion(model="openai/gpt-4o", messages=[{"role": "user", "content": "你好！"}])
   print(response)
   ```

Question 5

LiteLLM 支持哪些 LLM 提供者？

Accepted Answer

LiteLLM 支持多種提供者，包括 OpenAI、Azure、Anthropic、HuggingFace 等。

Question 6

如何設置費用追蹤？

Accepted Answer

用戶可以在 LiteLLM 中設置預算和速率限制，以便管理 API 使用情況。