Question 1

什么是ClearGPT？

Accepted Answer

ClearML 的 **GenAI App Engine** 是一个专为快速部署生成式 AI 项目而设计的平台。它通过简化的工作流程和可控的计算资源访问，帮助企业加速生成式 AI 的采用。无论是使用现成的 LLM 还是自定义微调模型，ClearML 都能提供灵活的部署选项，确保项目快速进入生产阶段。

Question 2

ClearGPT的核心功能有哪些？

Accepted Answer

* **一键部署 LLM**：通过简单的 UI 或 CLI，轻松部署 Hugging Face 上的自定义或微调模型。
* **动态资源分配**：使用 ClearML 的动态流量路由，管理每个部署应用的计算资源，优化性能并减少网络延迟。
* **模型端点监控**：实时监控所有 AI API 流量的请求量、延迟、内存使用和资源利用率。
* **最大化可用性，最小化成本**：通过统一内存技术，确保 GenAI 应用“始终在线”，同时减少 GPU 资源的使用成本。

Question 3

ClearGPT的使用案例有哪些？

Accepted Answer

* **企业内部 GenAI 应用开发**：为内部客户定制部署 GenAI 应用，快速响应业务需求。
* **AI 代理自动化**：创建和启动 AI 代理，自动化和优化任务处理。
* **跨部门协作**：为不同业务部门提供安全的协作环境，孵化 GenAI 项目。

Question 4

如何使用ClearGPT？

Accepted Answer

1. 访问 ClearML 平台，选择 GenAI App Engine。
2. 通过 UI 或 CLI 部署 LLM，选择自定义或现成模型。
3. 使用动态流量路由管理资源，确保应用性能。
4. 实时监控模型端点，优化资源使用。

Question 5

ClearML 的 GenAI App Engine 支持哪些 LLM 引擎？

Accepted Answer

支持 vLLM、Llama.cpp、Triton 等多种 LLM 引擎。

Question 6

如何确保 GenAI 应用的“始终在线”？

Accepted Answer

ClearML 通过统一内存技术，使用 CPU 内存保存空闲模型，确保 GPU 资源用于活动模型，最大化可用性。

Question 7

是否可以在 ClearML 上自定义 GenAI 应用？

Accepted Answer

是的，ClearML 允许用户自定义 UI 和部署流程，满足企业内部需求。