巧用分布式存储 实现高速云渲染
Intel 发表于:14年08月20日 15:17 [来稿] 存储在线
尽管随着动画技术的发展,大量的动画渲染效果被广泛运用到真人电影的后期制作中,但其效果精美的程度远远比不上动画片。例如被评为“年度最美的电影”的迪士尼动画片《冰雪奇缘》,上映后狂扫海外票房8.7亿美元,其冰雪世界的魔幻画面在逼真的3D特效渲染下呈现出炫美多彩的视觉效果。这样的效果,不仅要归功于设计师、绘图师在构图与色彩方面的深厚功底,背后每一帧渲染长达132小时的制作时长也让不禁感叹高质量的渲染对制作出一部佳作而言的必要性。
作为CG行业(电脑图形/数码图形行业)生成动画片之前必须要做的流程,渲染是在计算机计算中把CG的原始模型设置物理的光影和材质的信息从而生成各种连续帧的图像的过程。2001年开始,随着信息技术、各种数字化的高速发展,梦工厂、皮克斯等知名动画制作公司提出将影视技术数字化的概念。而渲染作为动画制作中不可缺少的一步,也随着越来愈多逼真的动画片、3D大片热度的不断飙升被我们所熟知,其计算的规模随着电影技术的发展而逐年增长,渲染产业也逐渐成为CG数字影视的重要支撑。从直观的数据来看,《疯狂原始人》的渲染量是8000万小时,而每一部梦工厂推出的高品质动画片平均都要花费4年时间和30亿次计算机渲染来完成。
渲染服务受重视 存储设备成瓶颈
而近年来,国外动漫产业的进一步发展也带动了国内渲染公司的崛起。赞奇科技作为国内起步较早的 专业从事三维图形云渲染服务的公司,在云计算的驱动下也展开了在线实时渲染服务的创新渲染服务模式。由于很多用户在有突发性需求或工期紧张的时候需要紧急调动资源进行渲染,因此赞奇“渲云”平台通过云计算手段,利用网站、渲染插件、客户端软件让用户更加灵活地调度整个资源的平台,完成图形高密度计算的渲染工作。
谈到在线实时渲染,听起来虽与传统互联网云计算的工作模式类似,实际却大不相同。互联网应用的核心在于通过负载均衡来将访问流量分摊开来,而图形渲染,由于其CG图像文件参数是最终用户事先定制好的,只能通过计算机集群的方式来进行渲染。因此,无论是计算资源,还是存储资源,在渲染过程中利用率均为100%。但面对业务的发展,机器规模增加的需求也随之增强,早期部署的常规性存储阵列在对计算能力、存储的读写能力要求极高的云渲染面前却无法发挥优势,面对呈指数增长的存储系统访问量,100个计算节点同时计算存储性能就已经达到瓶颈,再往上扩展性能就会整体下降。性能缺陷,直接制约了存储系统的大规模扩展。
高性能低成本 搭建定制化新平台
为了突破存储设备瓶颈,提升系统整体性能,实现低成本存储服务器横向扩展达到高性能的要求,赞奇“渲云”平台在第二期部署中与集云及英特尔进行了深入地合作,部署了500台基于英特尔分布式存储架构的集云一体化的系统。“由于动画渲染属于并行计算,在渲染过程中,所有渲染节点仍然会有和存储节点的频繁数据交互过程,直到每个节点分别完成各自分配的渲染任务并将结果回存至存储目录下,某个节点速度过慢就会影响整个作业完成的速度。因此,考虑到渲染行业的特点,我们便与英特尔一同合作,在英特尔分布式存储架构参考设计的基础上,设计了集成存储、服务器、软件、系统的存储一体机,”江苏集云信息科技有限公司CEO陈宝辉介绍道。
这套系统帮助赞奇实现稳健的快速存储、访问,以及安全规范。基于分布式存储架构的新系统读取稳定性更高;服务器的CPU的占用率,尤其是存储设备的占用率,下降至原有系统的三分之一;整体系统存储和访问速率提升超过三倍,完全满足了赞奇对高渲染效率的强烈需求。江苏集云信息科技有限公司CEO陈宝辉谈道:“整个系统真正实现了横向扩展,计算能力、存储能力和I/O都是并行扩展。虽然仅仅使用最廉价的SATA盘,但定制化的机柜与调优设计、高性能的英特尔至强E5处理器产品,却帮助赞奇实现了超高性价比。”
“对于做渲染农场的我们而言,最关键的就是高速读写、稳定读写,一些专业设备中数据保护方面的功能对我们而言毫无用处。封闭化的系统不仅在扩展系统规模的时候十分复杂、资源不可控,而且在维护等方面增添了许多成本”,赞奇科技发展有限公司总经理杨昕吉表示:“对于用户而言,由于国内的渲染市场还是成本敏感的,因此,用户更多关心的也是渲染速度、CPU性能。而基于英特尔至强E5处理器的分布式存储架构从这两方面都能满足我们和用户的实际需求,实现从软到硬、从前端到整个后端服务的一体化,通过深度整合更好的提升用户体验。”
进一步扩展部署 打造中国梦工厂
随着近年来国内对文化产业发展的进一步重视以及观影者对影片质量需求的提升,越来越多的影片选择通过3D渲染来实现更好的画质。而基于英特尔分布式存储架构的赞奇“渲云”平台已经先后服务了包括常州恐龙园、苏州天润安鼎等千余用户,也让赞奇感受到开放、标准化架构在渲染作业中所占有的优势。
因此,赞奇也将考虑基于现有的集云IDC技术,在未来将存储一体机系统扩展到1500-2000个计算节点,并将“渲云”平台发展成为面向CG行业的基础云计算服务。当然,除了部署高性能、低故障率的存储系统为用户带来高质高量的渲染服务之外,渲染引擎对渲染作业的效果也是至关重要的。
为了进一步扩大用户群,向更多用户提供大规模渲染服务,赞奇也研发了名为Elara的渲染器,这将于第三方核心引擎一起,向用户提供更好的云渲染服务,打造出能够走向世界的“中国梦工厂”。