本文介绍DataV团队自研三维渲染引擎。

技术背景

数字孪生最早是应用于大型装备制造业领域的一项革命性创新,通过搭建一个将制造流程全部进行整合的数字孪生生产系统,实现从产品设计、到生产计划、再到制造执行的全过程数字化。数字孪生概念与城市数字化管理结合之后,便诞生了“数字孪生城市”的概念。作为物理世界镜像的数字孪生城市,物理城市之中所有的建筑、道路、设施、人等等对象,都在数字城市有数字镜像,两个平行世界同步运转,实现视觉、数据与互动的统一,可以说数字孪生城市是“智慧城市”的终极形态。

示例图

从2017年“数字孪生城市”概念走红开始,全国各地“数字孪生城市”如雨后春笋般涌现,迅速推动了整个行业快速发展。与此同时,整个“数字孪生城市”产业链路上的技术瓶颈也开始显现,尤其是数字孪生城市构建的核心环节之一的三维渲染引擎已经成为制约数字孪生城市项目正真实战落地的核心痛点。

目前大多数数字孪生城市项目在三维渲染引擎的技术选型上通常是2种方案,分别为:
  • 主流游戏引擎。
  • 传统GIS引擎。

游戏引擎和GIS引擎在各自传统行业内是完全满足用户需求的,但是跨界支持数字孪生的应用场景便显得力不从心。这也是为什么DataV团队自研三维渲染引擎的原因。

数字孪生城市需要什么样的渲染引擎

  • 数字孪生城市的构建,必须基于精准的地理数据

    从“数字孪生城市”概念刚兴起时,行业内只需要用游戏引擎渲染几个手工精模,就可以包装一款“智慧城市应用”了。随着客户不断接受新技术的熏陶,行业对“数字孪生城市”的述求也越来越贴近真实业务。为了实现对数字孪生城市的实际运营管理,整个数字城市的构建必须基于精准的地理数据也逐渐达成了行业共识。

    从数据角度出发,整个数字城市可用剖分成逐层叠加的数据层,包括地形、水系、道路、建筑、IOT设备等等,每一层次数据都可以由精准的时空数据支持。

    近期兴起的CIM概念,也从数据上给出了数字孪生城市的定义:CIM = BIM+GIS+IoT。BIM代表了建筑体的精准表达,GIS数据(包括矢量数据、倾斜摄影、高精地图、卫星影像等等)提供了建筑体之外整个城市的数据表达,而IOT设备好比是整个城市的神经网络,为整个数据孪生城市的全域感知提供了信息来源。

    cim配图

    任何一个完整的数字孪生应用,都包含数据采集、数据融合、场景构建、应用构建四个阶段,每个阶段都涉及渲染引擎对数据的约束,因此对多源多分辨率空间数据的解析、融合与渲染的支持,是一个合格的数字孪生渲染引擎的基础能力。

  • 数字孪生城市的呈现,必须尽量还原真实世界

    如何定义三维引擎对场景的真实还原能力?

    对场景的真实还原能力,一直是数字孪生城市的核心述求之一。如何定义三维引擎对场景的真实还原能力,不仅仅是一个技术问题,更是一个需求定义问题。当前数字孪生城市常用的游戏和GIS两类引擎方案,对三维引擎对场景的真实还原能力相差巨大,而对于真实还原能力的定义也存在一定的争议。

    示例3

    如图上所示,游戏引擎渲染的场景,一般是对三维模型精雕细琢,同时辅于丰富的光照、阴影、花草树木等等细节;而传统的GIS引擎的渲染画面,通常是游戏引擎二十年前的国产游戏画质水平,让人直观的感受上无法想象具备数字孪生城市应有的科技感。

    从真实还原度上看,游戏引擎通常能够还原视觉上的真实,然而通常忽略空间数据上的真实,手工制作的各类三维模型与真实世界有巨大差异,而且局部的花草树木细节美化也通常是通过美术加工而脱离实际的;GIS引擎通常在数据上是精准还原了真实世界的数据抽象结果,然而在视觉上忽略了对真实世界的表达。传统的两类引擎方案都无法很好满足数字孪生场景的真实还原述求。

    示例4

    一个合格的数字孪生渲染引擎,需要事先真实世界的视觉还原和数据还原度的动态合理平衡。从视觉还原度看,真实世界的构成是无穷尽的细节.一沙一世界、一页一天堂,单单一个细胞的三维还原可能就可以耗尽当前最高档显卡的渲染能力.盲目追求局部的场景细节,尤其是通过手工的非数据精准的还原,往往会拖累整体的信息承载能力.从数据还原度看,数字孪生渲染引擎应该具备对真实世界多源异构多尺度数据的还原能力。

    数字孪生渲染引擎应该具备在真实数据广泛支持的基础上,对真实世界有抽象化表达能力,在具备充分精确数据的情况下可以精细还原局部视觉,也可以通过抽象化支撑海量时空场景的还原。

  • 数字孪生城市应该是一项技术普惠,尽可能降低中小企业的参与门槛

    数字孪生城市作为一项新的技术,对于卫星遥感、GIS数据的综合运用,快速构建大规模城市级模型的效率、细节等要求,具有很高的技术与资金投入门槛。来自众多系统的海量数据的集成整合需求,形成很大的工程挑战。这两大痛点也从根本上将一些中小企业排除在了“数字孪生城市”的技术红利之外,因此除了在一些政府重点项目中进行过尝试之外,“数字孪生城市”目前还没有很好的落地。

    示例4

    数字孪生城市其实是带有强烈的数字化公共基础设施属性的,具有前期投入巨大,建成后可以低成本服务众多客户的典型公共基础设施特征。因此迫切需要区分“数字孪生城市”中公共数字基础设施与个体场景的属性区分,降低公共数字基础设施重复建设,提高“城市基座”的利用率,在满足重大项目的同时,让中小企业也能很便利的满足局部场景需求。一个合格的数字孪生渲染引擎,应该具备自带“数字孪生资产”装备库和应用快速搭建能力,让中小企业也能很快地低成本跨入“数字孪生”时代。

当前行业主流引擎方案比较

  • 盘点常见的引擎技术方案
    从当前主流的数字孪生产品看,主要还是GIS引擎和游戏引擎为主,目前市场上场景的有mapbox、cesium、UE4、Unity、Ventuz等几类。
    • mapbox:极受欢迎的2.5D GIS引擎,地图样式功能尤其强大,GPU渲染的方案在渲染速度上远远甩开了leaflet等老牌对手,在mapbox衍生出了很多数字城市应用。缺点是对三维渲染的效果和.自由度不是很高。
    • cesium:二三维一体化的web GIS引擎,GIS数据支持能力异常强大,很多大厂商如超图等也是才有cesium方案。缺点是三维视觉效果较差,开发比较复杂。
    • UE4:目前是业内比较公认的No.1商用游戏引擎,视觉效果非常出色。缺点是对GIS支持不佳,而且开发成本非常高。
    • Unity:与UE4相比能输出web适配的应用,缺点是对GIS支持不佳,而且开发成本比较高。
    • Ventuz:是一款制作三维特效的软件,基于该引擎的产品视效比较突出。缺点是对数据支持、交互开发等极其不友好。
    引擎方案

    其他还有零星使用deck.gl、threejs等渲染方案的,此类引擎通常以开源类库提供,距离产品级方案还有太大的开发成本。

  • 主流引擎的应用比较
    对地理数据的支持与真实世界的还原是数字孪生城市对渲染引擎的核心述求。当前主流的数字孪生城市渲染引擎,从地理能力和视觉效果两个维度,可以通过一个象限图来比较。象限维度图
    • 地理引擎分布在第四象限:地理支持好、视觉效果差。
      • 传统地理引擎是一个准实时渲染系统,对于数字孪生城市应用场景体验较差。

        传统地理引擎对地理数据的解析与管理非常专业,分析能力强大。

      • 传统地理引擎对三维场景的真实还原支持不佳。
        • 普遍缺乏良好的渲染管线、光影效果、后期系统。
        • 传统地理引擎的三维场景还原能力,基本上还停留在二十年前的图形学发展水平。
      • 在数据大屏等数字孪生城市常见应用场景,因为与原本应用场景差异巨大,很难满足客户需求。
    • 游戏引擎与三维设计软件分布在第二象限:地理支持差、视觉效果好。
    地理引擎分布在第四象限:地理支持好、视觉效果差。
    • 游戏引擎的渲染效果登峰造极,目前仅次于基于物理渲染原理的离线渲染软件,但是渲染效果好的同时也带来了开发成本高、门槛高等缺点。
    • 地理数据的接入是游戏引擎显著短板;地理数据种类非常多样,矢量数据、栅格数据、扫描数据、倾斜摄影等等,不同种类的数据如何导入UE并互相配准是一个难题,一般都要先经过一个甚至多个第三方软件的加工处理,导出为模型文件后再导入引擎,并进行手动配准地理位置,过程非常繁琐。
    • 数字孪生业务经常有二三维一体化的全球视角可视化需求,游戏引擎的数据精度导致了很难在真实地理尺度下面进行数据投影与配准。
    数字孪生需要的引擎,应该是分布在第一象限:既能很好地支持地理数据的空间展示,又能很好地对真实世界进行还原。这就需要数字孪生引擎内建地理空间支持系统,同时提供高视效渲染管线、编辑器,以及同时支持这两者需要的海量数据渲染能力。效果图

    数字孪生渲染引擎需要面向上层业务应用,对引擎GIS能力、三维图形能力进行高度模块化抽象与封装,让交付合作伙伴、终端用户可以没有GIS、游戏专业背景的情况下,完成数字孪生城市应用构建。

关于DataV城市三维场景构建器:谈谈研发一个数字孪生渲染引擎的初心

  • 为什么要研发DataV城市三维场景构建器?

    经过行业主流的引擎技术选型比较,可以发现新兴的数字孪生城市行业其实缺乏一款真正满足行业需求的渲染引擎。在阿里集团城市大脑、数字政务、智慧交通等大量数字孪生项目的孵化下,DataV团队自主研发了数字孪生渲染引擎DataV城市三维场景构建器。

    从信息安全角度考虑,传统数字孪生城市领域所用的主流三维引擎技术,如GIS引擎CesiumJS、Google Earth Studio,或者游戏引擎UE4、Unity,都是国外技术并掌握了绝对的技术话语权。国内三维引擎的技术探索也仅仅局限在少数大型游戏公司,同时由于业务特性差异巨大,完全无法对数字孪生城市领域提供技术支撑。随着国际环境的不断变化,缺乏国产自主数字孪生渲染引擎技术,是当前数字孪生城市相关业务及技术解决方案的一大风险点。

    DataV城市三维场景构建器引擎在架构设计上基于主流GIS引擎采用的二三维一体化地理空间,对时空数据实现了底层支持;在图形渲染技术上,采用自研的渲染管线、材质系统、后期系统,实现了主流游戏引擎的渲染效果。DataV城市三维场景构建器研发了便捷易用的数据、动画、交互编辑器,大幅降低了中小信息化服务ISV参与数字孪生城市行业生态的门槛。

  • DataV城市三维场景构建器如何满足数字孪生场景的需求?
    • 精准地理数据源支持
      DataV城市三维场景构建器全面支持CIM数据需求,实现数字孪生世界的精准重建,尤其是对目前数字孪生城市迫切需求的BIM、倾斜摄影、高精地图这精准重建三要素提供了良好的支持,包括提供进一步的数据融合与交互支持。
      • BIM支持:与手工精模相比,BIM模型在数据定义上是地理精准的,并且有完整的语义及属性信息,可以满足数字孪生应用中精细化管理的需要。BIM模型数据包含了完整的拓扑结构更,适合做空间查询、分析、业务数据融合。BIM技术能够让数字孪生应用从宏观概览走向微观管理。
        图 1. BIM支持(1)
        BIM支持(1)
        图 2. BIM支持(2)
        BIM支持(2)
        图 3. BIM支持(3)
        BIM支持(3)
        DataV城市三维场景构建器对BIM实现了数据源级存储与融合,并对几何数据提供了轻量化LOD分级优化,使得传统巨大体量的BIM模型也能应用在各种场合。BIM示例4
      • 高精地图:高精地图指用于自动驾驶辅助的高精度级别地图,与导航地图做比较,导航地图精度存在米级以上(5-10米)误差,高精地图精度在厘米级。与导航道路元素只到道路级不同,高精地图提供的道路元素及交通相关动态元素更丰富,比如详细的车道线、路标、交通提示牌、交通灯、车道曲率、坡度及车道级实时交通动态信息等等。高精地图除了作为真实道路环境的可视化还原之外,更主要支持数字孪生城市算法对交通环境判断、决策、控制等,是构建智慧交通的基础能力。DataV城市三维场景构建器自主研发了基于OpenDrive标准的解析器、渲染器,对高精地图提供了良好支持。高精地图
      • 倾斜摄影:倾斜摄影技术是测绘领域近年发展起来的一项高新技术,突破了传统正射影像只有垂直角度的局限,通过无人机搭载多台传感器,同时从一个垂直、四个倾斜等五个不同的角度采集影像,能够实现大规模区域的快速三维重建,并以真实影像作为模型贴图,是对真实空间进行快速复原的有效技术方案。DataV城市三维场景构建器对主流倾斜摄影格式实现了兼容,并提供流式加载,同时提供单体化矢量数据的交互支持,解决了倾斜摄影只能看不能语义化交互的弊端。
    • 简单易用的编辑器

      易用性一直是三维图形产品的重大挑战之一。面向三维城市渲染的产品,同时兼具三维产品、GIS产品的特点,需要用户对三维图形、地理数据有相当程度的认知,这也导致了三维城市渲染产品的功能复杂、操作困难。

      传统的三维城市渲染引擎,由于业务模块抽象程度不高,没有面向业务开发的编辑器,数据的载入、场景的管理、镜头的调度、事件的管理全部依赖脚本级代码开发,这对原本由设计同学擅长的三维场景搭建功能必须由开发同学完成,导致设计师无法发挥最大的想象力空间与设计水平。

      提升产品易用性的核心切入点是编辑器的研发,在DataV积累多年的编辑器框架基础上,全新推出了适用于数字孪生场景搭建的数据编辑器、场景编辑器、关键帧编辑器,在数字孪生场景搭建与交互串联的功能上实现了可视化编辑,设计师可以用“所见即所得”的模式进行数字孪生城市场景搭建。
      • 地理数据编辑器
        • 支持城市一键生产
        • 支持按行政区选择绘制范围
        • 支持自定义地理范围,包括圆形、多边形等等
        • 支持地理要素的范围裁剪
        示例2
      • 场景与关键帧编辑器:可视化编辑三维场景。
        • 支持鼠标拖拽编辑镜头位置
        • 支持平行时空多场景编辑
        • 支持基础地理要素自动匹配
        • 支持镜头关键帧
        • 支持事件关键帧
        • 支持时间系统关键帧,实现场景日夜变换功能
        • 支持组件属性关键帧,包括色彩、形变等
        效果示例
      • 交互编辑器:将三维场景、二维图表、业务数据快速搭建成业务系统。
        • 支持DataV蓝图节点编程
        • 支持关键帧事件驱动二维图表和三维场景联动
        • 支持多场景动态切换
        交互编辑器样式
    • 灵活的场景管理功能
      • 提供多种时空场景管理模式:无极缩放与多场景并行。
        二三维一体化的一镜到底场景展示模式,适合对业务进行深入探索或者时空跟踪分析;对于类似平行业务或者室内室外空间隔绝的业务场景,DataV城市三维场景构建器提供了多场景平行的蒙太奇空间模式,平行的业务场景可以任意跳转。
      • 专业级场景演示系统:DataV城市三维场景构建器自主研发了数字孪生场景交互系统DataV.OPUS,以业务逻辑为核心,辅以“剧场”的隐喻呈现模式,实现大范围数字孪生空间的形象化展示,是高端汇报场景的致胜利器。视图
      • 多端协同展示:支持数字孪生城市多端联动,实现多场景、多业务模块的信息闭环。视图
    • 渲染能力

      DataV城市三维场景构建器通过自研PBR渲染管线,除了对三维模型的精准还原之外,还支持物理真实的地球大气层模块、大范围实时阴影、AO等后期效果系统。由于数字孪生城市场景大量城市模型是算法生成,为了提升视效,DataV城市三维场景构建器引擎实现了全新的各类地理要素PBR材质生成算法,对地形、水系、道路、建筑等提供数十种不同渲染精度的程序化生成材质。

      针对数字孪生城市业务表达需求,DataV城市三维场景构建器提供丰富多样的组件动效、光效动画、生长效果等,支持各种类型数据的业务可视化映射。动图示范
    • 完善的数据工作流平台
      • 数据资产自助上云
        数字孪生城市项目的数据来源众多,往往是多源异构众源数据,既包括各类二三维地理数据,还包括各类三维模型资产,以及各类非地理相关的行业业务数据。为了解决数据标准化、融合的难题,DataV城市三维场景构建器提供了数据资产自助上云工具,包括二维地理数据编辑、三维模型配准、倾斜摄影加工等等。示范图
      • 自动化城市建模:快速生成多级适配渲染能力的城市模型。
        • L1:全自动程序化城市生成。
        • L2:视觉增强的程序化城市生成。
        • L3:初级人工建模+程序化混合城市生成。
        • L4:人工精细建模+程序化混合城市生成。
        • L5:仿真级精细城市生成。
        图 4. 示范图1
        图 5. 示范图2
        示范图2
      • 数据资产加工:对地理数据资产提供加工功能,包括矢量、栅格转换、三维切片等等。示范图
      • 数据融合能力强大:没有良好的数据融合与场景交互能力,数字孪生城市对于业务方来讲只是另一个平行宇宙,只能沦为摆设。目前DataV城市三维场景构建器支持的包括静态数据、API、数据库等近30种数据源接入三维数字城市空间,囊括了市面上主流的数据源。
    • 便捷的数据分发与应用搭建能力
      • 数据、应用分发便捷度

        DataV城市三维场景构建器是采用BS架构、运行在浏览器中的WebGL引擎。通过浏览器,可以方便的将新应用与历史应用相互整合;同时Web页面也可以方便地在大屏端、桌面端、移动端进行分发,页面自适应的特性也可以灵活适配多尺度设备。这与桌面引擎对操作系统环境依赖、更新不变等缺陷形成了显著优势。

      • 数字孪生应用快速搭建能力

        DataV城市三维场景构建器采用BOM(面向业务的模块化)设计,提供了便捷易用的编辑器和可视化模块,包括城市基底模块和用于业务数据映射的数据图元模块,能便利地融合公共的“城市基座”与个体的“业务场景”,支持“业务场景”各类数据的融合,并根据不同场景对数据进行交互。最终实现一个“视觉真实”、“地理信息”、“物理模拟”及“数据交互”于一体的三维可视化数字孪生场景。相比传统GIS引擎、游戏引擎动辄数月的开发周期,DataV城市三维场景构建器可以将项目周期压缩到一周以内。

        示范图
    • DataV城市三维场景构建器搭建基于公共云的数字孪生资产平台,推动数字孪生技术普惠

      没有基于云计算支撑成为数字公共基础设施的数字孪生产品,是无源之水;单个企业/个人根本无法承担构建无数多源异构地理数据汇聚之后,再通过消耗大量算力的数据处理加工过程再构建数字孪生城市的天量成本;只有依靠云计算的优势,极度压低数字孪生城市的边际生产成本与用户使用成本,数字孪生城市项目才能辐射到如社区这样的低成本低预算场景。

      • DataV城市三维场景构建器通过提高城市数字资产库的覆盖率,有效降低单用户、单项目的成本。

        很多现实中的数字城市项目,往往到了建设的时候才发现“城市基座”的数字资产需要从头创建,卫星影像、城市建筑模型搭建、地理测绘、倾斜摄影、BIM系统等基础数字资产的准备往往要让单个项目耗时半年以上。

        DataV城市三维场景构建器建立了基于公共云的数字孪生城市资产库,目前支持城市数量达到19个,覆盖一线城市/新一线城市;同时对城市核心商圈提供精细模型支持;数据提供版本管理支持,并定期更新城市基础数据;

      • DataV城市三维场景构建器是第三方友好的开放式引擎。

        没有开放性的数字孪生城市,会迅速被技术时代抛弃,沦为一座“数字死城”。当前,全域立体感知、数字化标识、万物可信互连、泛在普惠计算、智能定义一切、数据驱动决策等,构成了数字孪生城市强大的技术模型,而支撑上述技术模型的区块链、人工智能、智能硬件、AR、VR等新技术条件基本成熟,但实现方案相当复杂,这已经不是一个公司或者一个项目能够独立构建一个完整的数字孪生城市解决方案。一个第三方友好的开放性平台,才能让数字孪生城市技术模型不断完善,成为时代新技术融合创新的试验场,保持旺盛的技术生命力。DataV城市三维场景构建器为第三方提供插件开发SDK、算法插槽,支持第三方业务数据通过自定义算法与渲染模块构建行业应用,典型的如交通仿真等等。

结束:DataV城市三维场景构建器的未来之路

从行业发展阶段来看,数字孪生城市还是一个刚刚起步的蓝海产业,是一个跨技术领域(GIS、三维图形等)、跨行业需求(数字政务、智慧城市等)的融合领域。经过行业的洗礼,相信未来用户对数字孪生城市的认知也更加深刻和理性,各种趋于实用性质的项目将大量涌现。DataV城市三维场景构建器会始终关注用户的业务价值提升,为用户搭建真正能链接物理世界、数字世界的数字孪生桥梁。