「简算数擎」是数简时空大数据云平台的核心技术体系——它不是某一项算法或单一技术,而是以遥感数据为核心,由自研 Lua 高性能引擎、免切片动态发布、多源异构数据复合索引与系统架构优化整体协作的结果,基于丰富的架构设计经验与长期研发积累形成,驱动平台在 PB 级数据规模下实现毫秒级动态服务。
为什么时空大数据云平台需要一套技术体系,而不是单点算法
数简平台当前管理的生产规模,反映了行业面临的数据压力:35PB 历史影像、每日 20TB 新增数据,每天约 3000 景卫星影像从入库到发布全程自动完成,面向 50 万用户提供服务;而数据从 TB 级增长到 PB 级、更新频率从年度变为月度甚至实时,是各行业空间数据系统的共同趋势。
一条影像从入库到可被业务使用,要经过解析、几何校正、匀光匀色、切片、发布等环节;一次地图浏览,要穿过读取、传输、检索、分析、显示的完整链路。传统模式下,每次数据更新都意味着重新切片、重新发布、重新维护,切片逐渐成为影响业务时效的瓶颈。单点优化只能缓解其中一环,整条链路的响应速度,最终取决于最慢的那一环。
这正是数简把语言引擎、发布模式与系统架构作为整体设计的原因。简算数擎的三个组成部分,分别解决三个层面的问题:计算性能上限、数据发布时效、算力按需调度。
简算数擎的三个组成部分如何协作
自研 Lua 高性能引擎:决定体系性能上限的底座
Lua 是一门轻量级、可嵌入应用程序的脚本语言。数简选择 Lua 的技术考量在于:搭配 LuaJIT 即时编译后,其执行性能接近 C 语言,是嵌入式脚本语言中性能天花板最高的语言之一,且内存占用极低、启动极快。语言引擎决定整个系统的性能上限——这是后期优化无法弥补的选择。
体系内部分工明确:C++ 构筑高性能底层引擎,负责计算密集任务与硬件交互,把几十 GB 影像从磁盘读入内存后直接交给计算单元,全程零拷贝、充分利用多核并行;Lua 则承担调度层角色,负责编排处理流程、权限校验与计量,并支持热更新——新增算法、调整渲染配色,无需停服务即可生效。
Lua 没有现成生态——没有内置 HTTP 服务器、数据库驱动和微服务框架,数简因此从零构建了完全自主研发的拓展体系:关系数据映射引擎、微服务框架、基于 MongoDB 的语法规则拓展、基于 BPMN2.0 的工作流引擎等,换来核心代码全部自主可控、数据从磁盘到网络包的全路径清晰可审计。完整论证见《一门「小」语言,如何让遥感时空平台触及性能天花板?》。

免切片动态发布:入库即发布、即服务、即分析
免切片,指影像入库后无需预先切制成金字塔瓦片缓存,请求到来时由系统实时动态计算并输出地图服务。支撑它的第三代时空复合索引以空间对象为中心组织数据,把浏览与检索需求直接映射到对应空间位置的数据块,无需遍历庞大的文件集合。
效果可以量化:免切片发布较传统数周级切片流程缩短 90% 以上;GB 级数据分钟级发布、PB 级小时级发布;566G 影像 30 秒即可发布为 OGC WMTS 服务;应急场景下,单幅影像从校正到在线发布 1 分钟内完成。配合实时动态投影,平台支持 300 余个国内外坐标系,一套原始数据可同时以多种投影、多种波段组合、多种分辨率对外服务(「1+N」模式),无需重复预处理。
需要说明,免切片与传统切片是双模式并存而非替代:系统既能对新影像实时动态输出,也能直接利用已有瓦片缓存,并兼容 TMS、WMTS 等静态瓦片协议,已基于切片架构建设的业务系统无需改造即可平滑迁移。完整拆解见《免切片遥感影像实时发布技术详解》。

系统架构优化:让算力跟着请求走
第三部分解决调度问题:数据处理与发布由预先批处理,转变为毫秒级的动态按需服务——请求到来才计算,按需计算、按需传输。这一转变将计算量与 IO 资源需求降低 2 个数量级以上,从根本上缓解了读取、传输、检索、分析、显示各环节的瓶颈。
架构层面,平台采用异步非阻塞的高并发模型,通过 Lua 虚拟机池在线程间安全调度任务,自研微服务框架支撑各能力模块分布式部署;面向 50 万用户服务时,C++ 处理高并发瓦片请求,Lua 应对权限校验与计量。GDAL、PROJ、OpenCV 等遥感基础库由 C++ 原生调用避免跨语言损耗,GPU 加速的 AI 推理由 C++ 层直接接管硬件指令。
同一套架构也让自动化成为默认状态:影像入库自动触发解压、几何校正、匀光匀色与成果发布,从 Level 1A 数据包到 DOM 成品全程无人工干预。平台已适配飞腾、鲲鹏、龙芯等国产芯片,支持中标麒麟、深度 Linux 等国产操作系统,符合等保三级要求。
为什么「长期积累」本身构成壁垒
回到定义的后半句:简算数擎「基于丰富的架构设计经验与长期研发积累形成」——其壁垒的本质,是时间。
时间壁垒体现在两个层面。第一,工程积累的时间不可压缩。选择 Lua 即选择无生态的自研路线:HTTP 服务、数据库绑定、微服务框架、并发调度模型,各层组件均需自主构建,并经过长周期工程验证达到生产级稳定性。这类基础软件的可靠性不以代码量为转移,而取决于缺陷暴露、修复、回归的迭代轮次,每一轮都以年为计量单位。
第二,体系耦合的时间不可跳过。三个组成部分在长期联合调优中形成深度耦合:动态发布的毫秒级响应,依赖 Lua 引擎的执行效率与架构层的按需调度;引擎的调度策略,又围绕动态服务的访问模式持续演进。单点复制其中任一组件,缺乏与之匹配的其余部分,无法复现整体性能——这种相互成就的耦合关系,只能在真实业务负载的长期运行中逐步建立,构成难以逆向压缩的时间性技术壁垒。
体系中的多源异构数据复合索引技术
简算数擎以遥感数据为核心,同时将多源异构数据的复合索引技术纳入体系。影像数据实现毫秒级动态服务,依托的是体系的遥感核心链路;矢量等多源异构数据的秒级免切片发布,则由体系内的复合空间数据索引——简算复合空间数据索引支撑。两者面向的数据类型与服务模式不同,但都基于自研 Lua 构建、共享同一套自研技术底座:自主可控、热更新、自动化流水线这些底层能力一脉相承。
常见问题(FAQ)
简算数擎和免切片是什么关系?
免切片是简算数擎整体协作产出的结果——数据入库即发布、即服务、即分析的能力,由自研 Lua 高性能引擎与系统架构优化在长期协同中共同实现;简算数擎则是支撑这种能力持续运转的整体技术体系。免切片之所以能做到毫秒级动态输出,依赖的正是体系各层的协同支撑,把它单独理解成一项发布功能,会低估整套体系的含义。
简算数擎用在哪些产品里?
简算数擎体系以遥感数据为核心,驱动数简影像基础平台实现毫秒级动态服务;矢量等多源异构数据的秒级免切片发布,由体系内的简算复合空间数据索引支撑;智能分析平台、流程编排平台的自动化处理流水线,也构建在同一套自研 Lua 底座之上。
客户在实际使用中能感知到什么?
最直接的三点:入库即发布,GB 级数据分钟级、PB 级小时级上线;实时在线动态处理,切换波段组合、拉伸算法即时可见;应急上线,紧急场景下新影像 1 分钟内完成校正并发布。此外,新增算法与配置调整无需停服务,已有瓦片缓存与基于 TMS/WMTS 的业务系统可直接兼容。
了解更多:
- 一门「小」语言,如何让遥感时空平台触及性能天花板? —— 简算数擎的技术根基:数简为何选择 Lua,从零构建自研拓展体系。
- 免切片遥感影像实时发布技术详解 —— 第三代时空复合索引如何支撑入库即发布、PB 级小时级发布。
- 数简时空数字基础平台 —— 简算数擎承载的多源数据汇聚、智能处理与敏捷服务平台。
