构建面向乱序科学数据的增量数据管道

- 本文讨论的是"增量数据处理管道"（incremental data pipeline），即不是每次从头重新处理全部数据，而是只处理新到达或发生变化的数据，从而节省计算资源。 - 核心难题"乱序到达"（out-of-order ingestion）：在科学研究中，数据采集的时间顺序和文件到达服务器的顺序往往不一致（例如卫星数据可能因传输延迟而比后续数据更晚到达），导致传统增量管道难以判断何时数据才算"完整"。 - 作者提出的"Disarray"方案，本质上是一个基于"水位线"（watermark）的分布式追踪系统——它追踪每个数据源文件的录入状态，只有当某一时间窗口内的所有文件都已到达后，才触发对该窗口的计算，从而优雅地处理乱序问题。 - 背景需求：在气候科学、粒子物理（如CERN）、基因组学等领域，数据量可达PB级，无法反复全量重算；同时数据采集顺序天然混乱，需要专门架构解决这一矛盾。