3D动画云渲染解决方案
方案背景
3D动画渲染是一种特殊的影视制作方式,通常包含了概念设计、故事板、3D模型、贴图材质、灯光、特效、分层渲染、合成等多个制作环节。电视台通常也会针对部分精品节目进行特效制作与包装渲染。
渲染过程中通常包含大量的计算业务,这些计算业务通过访问大量纹理素材文件进行计算渲染,输出成品帧图片,最终合成成品影片。动画渲染主要是由前端渲染集群节点对大量动画图片进行加工处理,对存储系统的小文件处理能力提出了更高的要求,包括满足大量渲染集群节点的并发访问、长期稳定运行、具备良好的弹性。鲸鲨动画云渲染解决方案采用多功能集群调度+高并发集群存储作为方案基础架构,为用户提供高并发,高效率,优便捷的云解决方案。
传统渲染和鲸鲨云渲染
传统渲染
利用以太网技术、服务器、操作系统构建成类超级计算机,达到或者接近超级计算机的能力,由人工干预每一个动画渲染任务,效率低下、可拓展性差。不能满足中大型、高要求动画的后期制作。目前已处于行业淘汰趋势。
鲸鲨云渲染
鲸鲨云渲染模式与常规的云计算类似,即将3D程序放在远程的服务器中渲染,用户终端通过Web软件并借助高速互联网接入访问资源,指令从用户终端中发出,服务器根据指令执行对应的渲染任务,而渲染结果画面则被传送回用户终端中加以显示,服务器自动计费、计时和问题干预和告警。无需人工干预即完成大型动画的渲染或高清效果图的渲染工作,还可根据用户需求接入公有云。
鲸鲨云渲染平台
鲸鲨云渲染系统功能:
支持渲染素材的自助上传、渲染过程的自助预览及渲染结果的自助下载,提高操作便捷性渲染资源池采用成熟可靠、性能卓越的分布式文件系统和渲染资源调度引擎实现了资源池化。
采用松耦合系统架构,各模块互不依赖,灵活的架构支持规模化的平滑扩展;快速弹性部署,支持低起点建设,具备大规模可扩展能力,可同时支持超过4000个节点共同渲染。
鲸鲨云渲染系统价值:
提升远程管理和操作的便捷性
人性化功能和中文支持,操作体验更完美
促进内外部人力资源协作共享
利用移动渲染外包平台提供高质量的快速渲染服务
构建一体化资源协作平台,调剂资源余缺,促进资源能力均衡
云存储高并发集群系统
动画渲染业务系统对存储的需求主要有以下几点:
支撑海量小文件频繁读写
热点数据高效访问
跨平台兼容性
鲸鲨云存储系统特针对动画渲染高并发IO环境进行了500-1000节点并发IO测试渲染,发现在动画渲染过程中几乎97%的文件是K量级小文件且渲染过程中频繁访问,一般的存储在这样的访问压力下IO的能力很差。为解决该问题,鲸鲨的研发人员经过长时间测试研究编写了一套鲸鲨自有的专利存储系统,针对高并发小文件频繁读写的并行集群系统,另外通过软硬件结合解决了热点数据高效访问,俗称热数据处理。并且支持兼容不同操作系统跨平台访问。
鲸鲨云存储系统特点:
全对称分布式架构
统一命名空间
独有的弹性算法
扩展性及高性能
高可用性
数据安全性
标准的协议,广泛的适用性
良好的易用性
先进的全分布式集群存储架构,节点对等,无元数据架构设计,具备快速、安全实现容量性能随节点数量线性增长等特点,通过创新的系统构架,可以给用户提供显著高效的海量存储系统性能和扩展能力。
DOFS将多个节点的硬盘资源聚集成一个单一的虚拟存储池,对外提供全局统一命名空间,消除多个命名空间带来的数据孤岛,对上层用户和应用屏蔽了底层的物理硬件,同时通过任意节点都可以对同一存储空间进行访问。存储资源可以根据需要在虚拟存储池中进行弹性扩展。
采用独有的弹性算法在存储池中定位数据,而不是采用集中式或分布式元数据服务器索引。避免了元数据服务器通常会导致I/O性能瓶颈和单点故障的问题。BR2所有在Scale-Out存储配置中的存储节点都可以智能地定位任意数据分片,不需要查看索引或者向其他服务器查询。这种设计机制完全并行化了数据访问,实现了真正的线性性能扩展。
数据I/O可在命名空间内所有节点上自动进行负载均衡,系统智能定位任意数据分片,不需要查看索引或者向其他服务器查询,消除SAN环境或元数据服务器带来的访问热点和性能瓶颈问题,真正实现并行化数据访问,性能线性扩展。系统冗余组网,支持GbE、10GbE网络互联,为用户带来高速存储的极致体验。
BR2可以对文件进行自动复制,如镜像或多次复制,从而确保数据总是可以访问,甚至是在硬件故障的情况下也能正常访问。自我修复功能能够把数据恢复到正确的状态,而且修复是以增量的方式在后台执行,几乎不会产生性能负载。DigiBrickBR2采用操作系统中主流标准的磁盘文件系统来存储文件,因此数据可以使用各种标准工具进行复制和访问。
基于数据安全性方面的考虑,用户可以通过配置工具设置数据相应的安全等级,选择将数据和数据副本分别存放在不同的存储节点上。BR2可以实现节点间的数据保护功能,提供从1:1、1:N(N>=2)、N+M的冗余级别。提供给用户十分灵活的数据冗余策略,方便用户可以根据业务数据的逻辑需求,随意的制定冗余策略。
DOFS分布式文件系统支持NFS、CIFS、HTTP、FTP的标准协议访问,支持私有协议,完全兼容POSIX标准,并且支持对象存储、OpenStack,兼容Hadoop存储访问接口,能够替换hdfs作为大数据处理系统的底层存储系统,为复杂的云计算环境提供丰富的存储访问方式。
整个集群系统的管理工作可以在统一的图形化管理界面中完成,易于部署,快速交付,有效的屏蔽了传统高端存储中复杂的存储底层细节,可以让普通的IT管理人员快速的掌握,降低企业在存储系统中的整体拥有成本。