Ivy.ai × Zilliz Cloud：打造 GenAI 驱动的聊天应用

“可靠性、可扩展性与性能都十分出色。所有管理工作都能交由外部处理，我们无需再担心服务器故障，因此可以把资源用于产品开发和创新，而这正是让业务脱颖而出的关键。”

——Michal Oglodek，Ivy.ai CTO

01.

关于Ivy.ai

Ivy.ai，一个由专业团队精心打造的创新成果，致力于提升高等教育、医疗保健和公共部门的沟通效率。他们的旗舰产品 IvyQuantum™ 自2023年问世以来，以其先进的 AI 聊天机器人，超越了传统的问答模式。IvyQuantum™ 提供的功能包括：

• 覆盖网页、短信、语音、WhatsApp 和社交媒体的多渠道沟通能力

• 在线客服支持

• 由AI生成电子邮件回复

• 收集潜在销售线索，并以无缝集成方式获取特定账户信息

除功能丰富外，Ivy.ai 的独特之处还在于对数据安全与隐私的坚定承诺，这对处理敏感信息的机构尤其重要。Ivy.ai 通过采用特定数据源，确保每次服务均符合客户的个性化需求。

02.

挑战：扩大GenAI在教育领域的应用

Ivy.ai 团队从基于检索的 Ivy 1.0 转向更先进且由 GenAI 驱动的 IvyQuantum™ 时，遇到了多项挑战。他们需要一种解决方案，既能处理数十亿向量、执行高速查询以支持实时AI生成响应，又能在业务数据量和需求持续增长时维持可靠性能。同时，该方案还应让团队专注业务创新，而不是管理基础设施。

寻找适合的技术方案时，Ivy.ai 坚定选择了 Milvus。Ivy.ai 高级数据科学家 Saumil Patel 表示：“我们对市场上的不同向量数据库进行性能测试后，发现 Milvus 在全部选项中表现最为突出。”团队对 Milvus 的 QPS、插入和召回表现印象深刻，因为这些都是 GenAI 驱动聊天平台的关键性能指标。Ivy.ai所需的方案必须在用户提问后，于亚秒级时间内从向量数据库找到最相关结果。

团队原本借助 Kubernetes，在 Google Cloud Platform 上搭建自托管 Milvus 服务，却又一次遭遇挑战。Ivy.ai CTO Michal Oglodek 回忆，数据负载和需求持续增加后，生产环境中的系统出现了严重崩溃问题。Ivy.ai 因而寻求更可持续的解决方案：不再耗费大量时间和资源自行管理系统，改用可靠性和扩展性更强的方法。

03.

大规模向量数据库方案：引入全托管Zilliz Cloud

经过深入评估，Ivy.ai 选择了 Milvus 的全托管云服务 Zilliz Cloud。Zilliz Cloud 提供了一个高性能、可扩展的解决方案，能够处理百亿的向量数据，这对于 IvyQuantum™的检索增强生成（RAG）应用至关重要。选择 Zilliz Cloud 的全托管服务，Ivy.ai 得以摆脱复杂的数据库管理工作，专注于核心业务。

注：Zilliz Cloud 助力 Ivy.ai Chatbot

架构示意图

Zilliz Cloud 解决方案的可扩展性尤其引人注目。Oglodek 解释说：“我们希望（业务）可以轻松扩展，而 Zilliz Cloud的软件和服务使我们能够不断提升业务能力。”这种灵活性对于 Ivy.ai 不断增长的业务需求至关重要。此外，Zilliz Cloud 提供的托管服务解决了 Ivy.ai 在使用自建解决方案时遇到的稳定性问题，确保了生产可靠性。

Patel 尤其认可 Zilliz Cloud 的监控与分析能力。他表示：“每秒查询量以及数据库当前的总容量，我们都能看得很清楚。”深入掌握数据库性能，对优化运营和规划未来增长非常重要。

04.

Zilliz Cloud——业务创新的基石

Ivy.ai 获得的显著业务价值，来自将 Zilliz Cloud 确定为向量数据库解决方案，具体包括：

• 提升的可靠性：客户服务得以保持一致，是因为 Ivy.ai 自采用 Zilliz Cloud 后未再发生停机或重大问题；

• 增强的可扩展性：Ivy.ai 的发展受益于资源能够轻松扩展，这项能力也为其以免费试用策略吸引客户提供了支持；

• 性能大幅提升：自采用该服务以来，数据量虽已激增超过两倍，但在 Zilliz Cloud 高性能的支撑下，保持快速响应时间不再令 Ivy.ai 烦恼。

Oglodek 对使用体验作了简明总结：“可靠性、可扩展性与性能都很优秀。我们还能外包全部管理工作，不必担忧服务器故障，从而把资源用于产品开发和创新，这真正让我们的业务显得与众不同。”

05.

展望未来

稳定、可扩展且高性能的 Zilliz Cloud，为 Ivy.ai 迎接 GenAI 驱动的未来增长打下了基础。市场营销高级副总裁 Sharon Harrison 指出，公司的核心在于创新。GenAI 正继续改变教育领域，而获得 Zilliz Cloud 向量数据库助力的 Ivy.ai 已处于变革前沿，能够随时应对教育机构和学生持续演变的需求。