如果您的代码库非常庞大，依赖项链可能会变得非常深。即使是简单的二进制文件，通常也依赖于成千上万个构建目标。以这种规模，单台机器不可能在合理的时间内完成构建：任何构建系统都无法规避对机器硬件施加的物理基本法则。完成此工作的唯一方法是使用支持分布式构建的构建系统，其中系统完成的工作单元分布在任意且可扩缩的机器上。假设我们已将系统的工作分解为足够小的单元（稍后会详细介绍），这样一来，我们就能以愿意付费的速度尽快完成任何大小的任何构建。这种可伸缩性是我们一直致力于通过定义基于工件的构建系统来实现的制胜法宝。
远程缓存
最简单的分布式构建类型是只利用远程缓存的分布式构建，如图 1 所示。
图 1. 显示远程缓存的分布式构建
每个执行构建的系统（包括开发者工作站和持续集成系统）都共享对通用远程缓存服务的引用。此服务可能是快速的本地短期存储系统（如 Redis）或云服务（如 Google Cloud Storage）。每当用户需要构建工件时，无论是直接构建，还是作为依赖项构建，系统都会首先使用远程缓存进行检查，查看该工件是否已存在。如果是这样，它可以下载工件而不是构建工件。否则，系统会自行构建工件并将结果上传回缓存。这意味着，不经常变化的低级别依赖项可以构建一次并跨用户共享，而不必由每个用户重新构建。在 Google，许多工件都是通过缓存提供的，而不是从头开始构建，这大大降低了运行构建系统的成本。
为使远程缓存系统正常工作，构建系统必须保证构建完全可重现。也就是说，对于任何构建目标，都必须能够确定该目标的一组输入，以使同一组输入在任何机器上生成完全相同的输出。这是确保下载工件的结果与自行构建工件的结果相同的唯一方法。请注意，这要求缓存中的每个工件都要同时与其目标及其输入的哈希值进行键控，这样，不同的工程师可以同时对同一目标进行不同的修改，而远程缓存会存储所有生成的工件并适当地提供它们而不会发生冲突。
当然，若要从远程缓存中获得任何好处，下载工件需要比构建工件更快。但实际情况并非总是如此，尤其是在缓存服务器离执行构建的机器较远时。Google 的网络和构建系统经过精心调整，能够快速分享构建结果。
远程执行
远程缓存不是真正的分布式构建。如果缓存丢失或您进行了低级别的更改（需要重新构建所有内容），您仍然需要在机器本地执行整个构建。真正的目标是支持远程执行，在远程执行中，进行构建的实际工作可以分布在任意数量的工作器上。图 2 描绘了一个远程执行系统。
图 2. 远程执行系统
在每个用户的计算机（用户既是人工工程师，也可以是自动化构建系统）上运行的构建工具，会将请求发送到中央构建主实例。构建主实例将请求拆分为不同的组件操作，并安排通过可扩缩的工作器池执行这些操作。每个工作器通过用户指定的输入执行要求的操作，并写出生成的工件。这些工件在执行需要它们的操作的其他机器之间共享，直到可以生成最终输出并将其发送给用户。
要实现此类系统，最棘手的部分是管理工作器、主实例和用户本地机器之间的通信。工作器可能依赖于其他工作器生成的中间工件，并且最终输出需要发送回用户的本地机器。为此，我们可以在之前所述的分布式缓存的基础上进行构建，方法是让每个工作器将结果写入缓存，并从缓存中读取其依赖项。主实例会阻止工作器继续执行操作，直到其依赖的所有内容都完成；在这种情况下，主实例将能够从缓存读取其输入。最终产品也会缓存起来，供本地机器下载。请注意，我们还需要另外采用一种方式来导出用户源代码树中的本地更改，以便工作器可以在构建之前应用这些更改。
为此，前面介绍的基于工件的构建系统的所有部分需要组合在一起。构建环境必须是完全自描述的，这样我们就可以在没有人工干预的情况下启动工作器。构建流程本身必须完全独立，因为每个步骤都可能在不同的机器上执行。输出必须是完全确定性的，以便每个 worker 都可以信任它从其他 worker 收到的结果。对于基于任务的系统来说，这些保证极难提供，这使得在此类系统的基础上构建可靠的远程执行系统几乎不可能。
Google 的分布式 build
自 2008 年以来，Google 一直在使用一种采用远程缓存和远程执行的分布式构建系统，如图 3 所示。
图 3. Google 的分布式构建系统
Google 的远程缓存称为 ObjFS。它包含一个后端，用于将构建输出存储在 Bigtable（分布在我们的生产机器舰队中）中，以及一个名为 objfsd 的前端 FUSE 守护程序，该守护程序在每个开发者的机器上运行。借助 FUSE 守护程序，工程师可以浏览 build 输出，就像浏览工作站上存储的常规文件一样，但仅针对用户直接请求的几个文件按需下载文件内容。按需传送文件内容可大大减少网络和磁盘使用量，而且与将所有构建输出存储在开发者本地磁盘上相比，系统的构建速度可以提高一倍。
Google 的远程执行系统名为 Forge。Blaze 中一个名为“分销商”的 Forge 客户端（Bazel 的内部等效客户端）将针对每项操作的请求发送到在我们的数据中心内运行的作业（称为调度器）。调度程序会保留操作结果的缓存，以便在系统的任何其他用户已创建操作时立即返回响应。否则，它会将操作放入队列中。庞大的执行器作业池会不断从此队列中读取操作、执行这些操作，并将结果直接存储在 ObjFS Bigtable 中。这些结果可供执行器用于将来的操作，或者由最终用户通过 objfsd 下载。
最终，系统可以扩容，从而高效地支持在 Google 执行的所有 build。Google 的 build 规模超级大：Google 运行数百万个 build，执行数百万个测试用例，每天从数十亿行源代码生成 PB 级的 build 输出。这样的系统不仅让我们的工程师能够快速构建复杂的代码库，还让我们能够实现大量依赖于我们构建的自动化工具和系统。