配置 Bazel CI 以测试远程执行规则

报告问题 查看源代码 每夜 build · 8.0 · 7.4 · 7.3 · 7.2 · 7.1 · 7.0 · 6.5

本页面适用于 Bazel 规则仓库的所有者和维护者。该文档介绍了如何为代码库配置 Bazel 持续集成 (CI) 系统，以测试规则是否与远程执行场景兼容。本页中的说明适用于存储在 GitHub 代码库中的项目。

前提条件

在完成本页面上的步骤之前，请确保：

• 您的 GitHub 代码库属于 Bazel GitHub 组织。
• 您已按照 Bazel 持续集成中所述为代码库配置了 Buildkite。

设置 Bazel CI 以进行测试

1. 在 .bazelci/presubmit.yml 文件中，执行以下操作：

   a. 添加名为 rbe_ubuntu1604 的配置。

   b. 在 rbe_ubuntu1604 配置中，添加您要针对远程执行进行测试的构建和测试目标。

2. 将 bazel-toolchains GitHub 代码库添加到 WORKSPACE 文件，并将其固定到最新版本。另添加一个名为 buildkite_config 的 rbe_autoconfig 目标。此示例使用 BuildKite CI 为 rbe_ubuntu1604 创建了用于远程执行的工具链配置。

load("@bazel_toolchains//rules:rbe_repo.bzl", "rbe_autoconfig")
rbe_autoconfig(name = "buildkite_config")

1. 发送拉取请求，其中包含对 presubmit.yml 文件所做的更改。（请参阅拉取请求示例。）

2. 如需查看构建结果，请在 GitHub 中点击 RBE (Ubuntu 16.04) 拉取请求检查的详细信息，如下图所示。拉取请求合并并运行 CI 测试后，此链接才会显示。（请参阅示例结果。）

   

3. （可选）在分支保护规则中，将 bazel test (RBE (Ubuntu 16.04)) 检查设置为合并前必须通过的测试。该设置位于 GitHub 的设置 > 分支 > 分支保护规则中，如下图所示。

   

排查构建和测试失败问题

如果构建或测试失败，可能是因为以下原因：

• 默认容器中未安装所需的构建或测试工具。 默认情况下，使用 rbe_ubuntu1604 配置的 build 会在 rbe-ubuntu16-04 容器内运行，其中包含许多 Bazel build 中常见的工具。不过，如果您的规则需要使用默认容器中不存在的工具，您必须根据 rbe-ubuntu16-04 容器创建自定义容器，并按照后文所述的方式添加这些工具。

• 构建或测试目标使用的规则与远程执行不兼容。如需详细了解与远程执行的兼容性，请参阅将 Bazel 规则调整为适用于远程执行。

在 rbe_ubuntu1604 CI 配置中使用自定义容器

rbe-ubuntu16-04 容器可通过以下网址公开访问：

http://gcr.io/cloud-marketplace/google/rbe-ubuntu16-04

您可以直接从 Container Registry 中拉取该容器，也可以从源代码构建该容器。以下部分介绍了这两种方法。

开始之前，请确保您已安装 gcloud、docker 和 git。如果您是通过源代码构建容器的，则还必须安装最新版本的 Bazel。

从 Container Registry 拉取 rbe-ubuntu16-04

如需从 Container Registry 拉取 rbe-ubuntu16-04 容器，请运行以下命令：

gcloud docker -- pull gcr.io/cloud-marketplace/google/rbe-ubuntu16-04@sha256:sha256-checksum

将 sha256-checksum 替换为最新容器的 SHA256 校验和值。

通过源代码构建 rbe-ubuntu16-04 容器

如需从源代码构建 rbe-ubuntu16-04 容器，请执行以下操作：

1. 克隆 bazel-toolchains 代码库：

   git clone https://github.com/bazelbuild/bazel-toolchains

2. 按照工具链容器中所述，设置工具链容器目标并构建容器。

3. 拉取新构建的容器：

   gcloud docker -- pull gcr.io/project-id/custom-container-namesha256-checksum

运行自定义容器

如需运行自定义容器，请执行以下操作之一：

• 如果您之前是从 Container Registry 拉取容器的，请运行以下命令：

  docker run -it gcr.io/cloud-marketplace/google/rbe-ubuntu16-04@sha256:sha256-checksum/bin/bash

  将 sha256-checksum 替换为最新容器的 SHA256 校验和值。

• 如果您之前是通过源代码构建容器的，请运行以下命令：

  docker run -it gcr.io/project-id/custom-container-name@sha256:sha256sum /bin/bash

向自定义容器添加资源

使用 Dockerfile 或 rules_docker 将资源或原始资源的替代版本添加到 rbe-ubuntu16-04 容器中。如果您刚接触 Docker，请参阅以下内容：

• 面向初学者的 Docker
• Docker 示例

例如，以下 Dockerfile 代码段会安装 my_tool_package：

FROM gcr.io/cloud-marketplace/google/rbe-ubuntu16-04@sha256:sha256-checksum
RUN apt-get update && yes | apt-get install -y my_tool_package

将自定义容器推送到 Container Registry

自定义容器后，请按如下方式构建容器映像并将其推送到 Container Registry：

1. 构建容器映像：

   docker build -t custom-container-name.
   docker tag custom-container-name gcr.io/project-id/custom-container-name

2. 将容器映像推送到 Container Registry：

   gcloud docker -- push gcr.io/project-id/custom-container-name

3. 请访问以下网址，验证容器是否已推送：

   https://console.cloud.google.com/gcr/images/project-id/GLOBAL/custom-container-name

4. 记下自定义容器的 SHA256 校验和。您稍后需要在 build 平台定义中提供该值。

5. 按照公开提供图片中所述，将容器配置为可供公众访问。

   如需了解详情，请参阅推送和拉取映像。

指定 build 平台定义

您必须在自定义工具链配置中添加 Bazel 平台配置，以便 Bazel 选择适合所需硬件/软件平台的工具链。如需自动生成有效的平台，您可以在 WORKSPACE 中添加一个名为 buildkite_config 的 rbe_autoconfig 目标，其中包含用于选择自定义容器的其他属性。如需详细了解此设置，请参阅 rbe_autoconfig 的最新文档。