Question 1

什么是Higress.AI？

Accepted Answer

**Higress.AI** 是一款专为企业设计的 **AI 网关**，帮助开发者和企业高效管理 **LLM（大语言模型）API**，支持 **100 多种大模型**，提供 **开源和云商业化版本**。通过 **多模型切换**、**内容安全**、**语义缓存** 等核心功能，Higress.AI 让 AI 应用的开发和管理更加简单、可靠。

Question 2

Higress.AI的核心功能有哪些？

Accepted Answer

* **多模型代理与切换**：支持 **100+ 大模型**，通过 **统一协议转换** 实现灵活调度，fallback 机制保证服务稳定。
* **内容安全与合规**：对 **输入和输出内容** 进行 **敏感信息过滤**，降低数据安全风险。
* **语义缓存**：通过 **上下文缓存** 和 **语义推理**，减少 **Token 消耗**，提升调用效率。
* **令牌限流与配额管理**：精确追踪 Token 使用量，设置限流策略，避免超额消费。
* **流量灰度与成本审计**：支持 **流量分阶段发布**，实时审计调用成本，优化资源使用。
* **快速工具与插件**：提供 **存量 API 转换工具** 和 **丰富插件生态**，加速开发和集成。

Question 3

Higress.AI的使用案例有哪些？

Accepted Answer

* **国泰产险**：通过 Higress.AI 实现 **日均近亿 Token** 的调用，同时对所有请求进行 **敏感信息审计**。
* **零一万物**：解决 **长连接、高延时** 等问题，提升 API 的稳定性和性能。
* **贝联珠贯**：优化 **长链接访问**，提升 **AI 推理服务** 的稳定性和扩展性。

Question 4

如何使用Higress.AI？

Accepted Answer

1. **快速集成**：通过 **一键体验** 快速部署 Higress.AI，支持 **开源和云版本**。
2. **多模型管理**：统一管理多种大模型，通过 **fallback 机制** 保证服务可用性。
3. **安全配置**：启用 **内容过滤** 和 **令牌限流**，确保合规和资源优化。
4. **插件扩展**：使用社区提供的插件，定制化功能，提升开发效率。

Question 5

Higress.AI 支持哪些大模型？

Accepted Answer

Higress.AI 支持 **100 多种大语言模型**，包括主流开源和商业化模型。

Question 6

是否提供开源版本？

Accepted Answer

是的，Higress.AI 提供 **开源版本**，适合开发者和企业自行部署。

Question 7

如何处理 Token 超额问题？

Accepted Answer

通过 **令牌限流和配额管理**，精确控制 Token 使用量，避免超额消费。

Question 8

是否支持流量灰度发布？

Accepted Answer

是的，Higress.AI 支持 **流量灰度**，帮助企业安全发布和优化 AI 服务。