数据存储产业服务平台

企业级生成式AI落地尚不清晰,何谈管理?

未来是生成式AI时代,对此不会有任何异议,生成式AI将深刻改变社会和生活,这已经成为一种共识。

所谓理想丰满,现实骨干,都知道生成式AI深刻影响我们的工作和生活,但是如何改变?生成式AI加持下的业务应用架构什么样?

对此,很多人就不清楚了,当然谈不上如何管理?

大模型就是AI应用一个接口

以上是F5最新给出的生成式AI时代的网络架构,它从访问网络流量视角,给出了对AI应用的透视。

该图看上去复杂,但如果你熟悉现代化微服务应用敏捷迭代的架构,就会发现二者差别主要是生成式AI,简单说,生成式AI也会以API接口方式调用。

为什么会有这样的判断和结论呢?

从某种意义上来说,时代演进就是网络访问流量模型的演进,互联网是时代的基础,这个不会改变。

回首过往,大致可以分为互联网、移动互联网和生成式AI的时代,每个时代应用的侧重点不同。

在互联网时代,重点关注的是访问流量负载均衡,用于应对海量互联网访问接入,确保访问接入响应及时性,以系统稳定性为主要诉求;进入移动互联网时代,容器/微服务化为特征的云原生应用盛行,很多大型企业级用户需要同时应对传统应用上云以及部分云原生应用,需要在混合云、多云业务环境下,协调负载均衡在内的应用交付(ADC),提供SaaS服务解决了传统用户的难题。

如今生成式AI的时代,AI技术将被广泛期待,也对ADC提出了新挑战,不论是训练还是推理,都需要高水平ADC服务,以提升效率,确保GPU等计算资源的充分利用,与此同时,也需要ADC为AI 推理提供安全和管理,确保业务的稳定运行。

按照F5的判断,企业级用户AI技术应用不只一个大模型,而是多种模型协调工作,很多企业级用户都在使用自己的数据来设计检索增强生成(RAG)系统,增强AI模型的推理结果,API接口将是AI推理主要的连接方式。

非业务功能模块重于泰山

如果AI应用呈现API接口调用的局面,那么如何确保这些API接口的安全可靠将至关重要?

OWASP(Open Web Application Security Project,开放 Web 应用安全项目),一个致力于提高软件应用的安全性的全球性开放非营利性组织,特别列举了AI API访问的10大关键,涉及身份认证、授权、资源消耗等控制内容。

如果这些问题不能够得到有效解决,将会给企业的AI推理带来灾难性的后果,例如2022年,加拿大航空的聊天机器人向乘客承诺了一个原本不存在的折扣,最后导致被索赔;一家新闻网站盲目使用AI撰写文章,造成了新闻灾难……

F5亚太区首席技术官Mohan Veloo指出:这些都是APP过渡依赖LLMs大语言模型的结果,从而忽略了大模型“幻觉(Hallucinations)”,实质问题还是对于AI  LLM风险缺乏掌控。

大模型厂商不能解决这些问题吗?

“他们关注的是大模型的智能水平,连接管理、LLM安全等非业务功能模块不是其关注重点,这就是术业有专攻。从AI应用的角度来说,这些非业务功能模块的重要性甚至超越业务模块本身,这也是ADC需要承担的责任。” Mohan Veloo说。

ADC发展与时俱进

为满足生成式AI时代企业级AI管控的需要,以“AI for ADC,ADC for AI”为主题,F5面向AI应用推出了包括AI网关、K8S入口控制在内的6大ADC方案。

无论是AI训练还是推理,新的解决方案都会带来完全不同的价值和应用体验。

以面向BIG-IP负载均衡设备的iRule为例,它是 F5提出的一种采用专用脚本语言编写的自定义规则,用于对网络访问流量进行实时动态地控制和处理。例如,大型电商网站使用 iRule 应对突发的访问高峰,按照地区、用户类型将流量导向指定的服务器集群,优化资源利用和提高用户体验。

针对不同类型的访问攻击提供有针对性的措施。以DDoS为例,有些攻击是通过海量并发访问实施攻击,也有些攻击其并发量并不大,但是每个访问会消耗大量资源,同样达到DDoS的效果。

iRule在使用中需要预先开发很多功能模板,对技术人员的能力以及响应水平有很高要求。如今,借助生成式AI技术加持,凭借自然语言,通过AI就可以实现iRule代码生成,面貌为之一新,使用门槛大大降低。

针对企业级AI推理的应用,F5通过AI 网关产品来化解LLMs大模型的风险。

作为用户与LLMs大模型之间的代理,AI 网关检查生成式AI会话,采用细粒度的访问控制、合规策略来确保生成结果的安全性、合规性。它采用高度可扩展的设计,易于与客户现有的F5数据管理集成,加速大规模AI体验部署,降低成本。

据了解,AI网关通过自动检测、修复提供安全和合规性等策略实施,应对OWASP 强调的LLM 10大安全风险;利用语义缓存卸载LLM中的重复任务,优化本地和第三方LLM的负载平衡、流量路由和速率限制,保持服务可用性的同时提升性能。

针对中国企业出海所面临的PCIDSS(Payment Card Industry Data Security Standard,支付卡行业数据安全标准)、HIPAA(Health Insurance Portability and Accountability Act,健康保险流通与责任法案)以及GDPR (General Data Protection Regulation,通用数据保护条例)等安全与隐私法规遵从的需要,F5 XC分布式云服务平台提供了从公有云、边缘到私有云AI应用部署和管理,为出海企业提供高效、安全和可扩展性ADC服务。

Mohan Veloo表示:“F5 的使命是在任何地方防护、交付并优化任何应用及 API。在AI时代,F5始终致力于通过创新的应用交付和应用安全解决方案,助力企业应对AI技术带来的全新挑战与机遇。面对AI应用产生的海量数据负载,推理与训练节点必须依赖可靠且高带宽的连接,而AI集群的高效运行则离不开强大的调度工具,以确保GPU资源的充分利用并灵活应对可能的故障。F5精准聚焦这些关键环节,为企业提供全面支持,将助力企业有效解决AI复杂性问题,推动AI技术的更广泛落地。”。

全力拓展三大新兴行业

F5亚太区副总裁、北亚区总裁黄彦文透露:从全球到中国,F5一直致力于将最领先的科技带给用户,帮助用户在数字时代把握先机。

F5将继续深耕中国市场,并为此制定了三大策略:

完善AI产品组合:聚焦AI训练和推理场景,持续优化多云环境中的应用交付和应用安全解决方案,构建更高效、更智能的AI支持体系。

全面纵深新行业:深入拓展汽车、生物制药、高端制造(集成电路)行业,同时挖掘新能源、新零售等新行业领域潜力,以定制化解决方案帮助企业实现数字化和智能化转型。

共创渠道伙伴生态:加强与技术合作伙伴和渠道伙伴的联动,推动生态协作,共同开发面向未来的创新方案,打造更具韧性和竞争力的行业生态体系。

据透露:目前F5携手NVIDIA联合发布了AI解决方案,通过搭载NVIDIA BlueField-3 DPU,将面向AI应用ADC能力提升一个新的台阶;F5与英特尔合作,将F5 NGINX Plus与英特尔OpenVINO 工具套件及基础设施处理单元(IPUs)发行版进行组合,为AI应用提供尖端性能优化的能力;此外,F5与Red Hat、戴尔、NetApp等多家全球领先的技术厂商建立战略联盟,共同推动AI应用交付与应用安全领域的创新。

黄彦文表示:“2025年,F5将以‘AI for ADC, ADC for AI’为创新动力,持续推出基于AI技术的领先产品与解决方案,为应用交付的优化与安全保驾护航。同时,我们将积极拓展创新优势至更多行业场景,与合作伙伴共同推动行业数字化转型,携手打造更好的数字世界。”

小结

一千个读者就有一千个哈姆雷特,对于企业级生成式AI应用也是如此。

可以肯定的是,大多数的企业不会训练通用大模型,更多的是要将大模型和企业私有数据进行结合,大模型服务更多会以API接口调用的方式呈现,加强对于网络访问入口流量的掌控,无疑就抓住了商业应用的关键。

生成式AI不是用来顶礼膜拜的,需要助力企业应用才能够创造商业价值,商业离不开成熟的管理软件保驾护航!

未经允许不得转载:存储在线-存储专业媒体 » 企业级生成式AI落地尚不清晰,何谈管理?