但是如何让AI工具「写自己需要的代码」,这个反而变成更不容易更重要的事情。 AI 不是人类,它是不知道你的「文字」以外项目背景、业务逻辑、历史遗留问题,有时候为了让AI理解一些需求,需要花很久来梳理「这个功能到底是干什么」,可能对理解需求还有帮助。 能生成代码,但不一定是「最优解」,所以有一些提前的架构设计工作还是需要自己来,比如用什么技术栈、代码复杂度的上限、性能和可读性的平衡点。毕竟有时候AI会写出很多能跑但不能维护、可读性不怎么好的代码。这些其实就是架构设计的工作,之前是设计完自己实现,现在是设计好了让AI写。
现在做一个产品、需求,提示词写的文字数量可能比代码要多得多,每次我都调侃是,做一个需求,就写一篇作文、做一个需求,就写一篇作文,等产品上线了,把我的提示词整理整理,基本就是一个完整的文档了。以前写代码的时候,需求紧了文档不重视,现在为让AI干活不得把这些东西写的明明白白,这反而是个好事儿:代码可能会过时,但好的文档一直有价值。 2025年的编程工作,已经从「how to code」变成「what to code」,AI解决了实现问题,但是其他的更上游的工作变的更重要,现在的日常就是,先做设计(写提示词),接着review AI 写的代码,最后再整体审视项目需求完成情况收尾。虽然代码量少了但是脑力劳动强度一点没降低。
在 Kong Gateway 的最新版本 3.7 中,我们正式宣布 Kong AI Gateway 达到了通用可用性(GA)阶段。
现在,AI 开发者们可以专注于开发 AI 定制应用,比如利用大型语言模型(LLM)和检索增强生成(RAG)技术打造的聊天机器人,或者其他 AI 集成方案。他们无需再从零开始搭建底层架构,去构建保证 AI 应用在生产环境中安全、可监控的基础设施。Kong Konnect 和 Kong Gateway Enterprise 平台将提供所需的扩展性支持。
此外,Kong AI Gateway 现在也可以作为一个软件即服务(SaaS)解决方案完全部署在云端。同时,Kong 还推出了新的 Konnect Dedicated Cloud Gateways 选项,供用户进行云端部署。
Kong AI Gateway 可以用于广泛的场景,帮助加速新的人工智能应用程序在生产环境中的落地。
对现有的 OpenAI SDK 提供支持
Kong AI Gateway 允许让用户通过 OpenAI API 规范作为统一标准,访问其支持的所有 LLM。
使用开发人员熟悉的 OpenAI API 规范将大大简化大家上手的难度。
并且, Kong AI Gateway 原生支持了 OpenAI SDK 客户端库,进一步简化了构建 AI 代理和应用程序的过程。您只需将请求重定向到指向 AI Gateway 路由的 URL,即可通过 AI Gateway 使用LLM。
如果您已经使用 OpenAI SDK 编写了现有的业务逻辑,则可以重用它来使用 Kong AI Gateway 支持的每个 LLM,无需修改代码,因为它是100%兼容的。
引入流式 AI 消息支持
Kong AI Gateway 已在”ai-proxy” 插件中,对所有LLM引擎加入了对AI的流式交互能力的原生支持。这将解锁更多实时体验,而不用等待 LLM 完成处理后再发送回客户端。
我们正在引入一项基于 token 请求量进行限流的企业级功能。通过启用新的“ai-rate-limiting-advanced” 插件,客户可以更好地管理组织中不同团队的 token 消耗水平,从而更好地控制整体 AI 开销。对于自托管 LLM 提供商,当应用程序中的 AI 流量增加时,客户将能够更好地调整其在 AI 基础设施上的流量。
Kong 已经提供了基于发送到 API 的请求数量进行速率限制的 API 速率限制功能。而新版“ai-rate-limiting-advanced” 插件则专注于所请求 AI token 的数量,并不考虑发送给它们原始 HTTP 请求的数量。如果客户希望同时对原始请求和特定AI Token进行速率限制,则“ai-rate-limiting-advanced” 插件可以与标准 Kong 速率限制插件结合使用。
ai-rate-limiting-advanced 插件是目前市面上唯一可以用于 AI 的速率限制插件。
Kong AI Gateway 提供一个 API 接口,使用户可以随意调用部署在云端的或自托管提供商提供的模型。该接口在新版本中得到了扩展,以支持 Anthropic Claude 2.1 Messages 这样的通常用于创建聊天机器人或虚拟助手应用程序的API,用于管理用户与 Anthropic Claude 模型(助手)之间的对话交流。
基于用户需求, Kong AI Gateway 将持续增加对更多 LLM 的支持。
更新 AI 用量统计的格式
随着 Kong AI Gateway 进入 GA 阶段,我们已经更新了所有由 Kong 处理的 AI 请求的分析日志格式。