本文介绍了如何在 Bazel 中使用沙盒、安装 sandboxfs
以及调试沙盒环境。
沙盒是一种权限限制策略,用于将进程彼此隔离或与系统中的资源隔离。对于 Bazel,这意味着限制文件系统访问权限。
Bazel 的文件系统沙盒会在仅包含已知输入的工作目录中运行进程,这样编译器和其他工具就不会看到不应访问的源文件,除非它们知道这些文件的绝对路径。
沙盒化不会以任何方式隐藏主机环境。进程可以自由访问文件系统上的所有文件。不过,在支持用户命名空间的平台上,进程无法修改其工作目录之外的任何文件。这样可确保构建图没有可能会影响构建可重复性隐藏的依赖项。
更具体地说,Bazel 会为每个操作构建一个 execroot/
目录,该目录在执行时充当操作的工作目录。execroot/
包含操作的所有输入文件,并充当所有生成的输出的容器。然后,Bazel 使用操作系统提供的技术(在 Linux 上为容器,在 macOS 上为 sandbox-exec
)来限制 execroot/
中的操作。
沙盒化的原因
如果不使用操作沙盒,Bazel 将无法知道工具是否使用了未声明的输入文件(未在操作的依赖项中明确列出的文件)。当未声明的输入文件之一发生更改时,Bazel 仍会认为 build 是最新的,并且不会重新构建操作。这可能会导致增量 build 不正确。
错误地重复使用缓存条目会在远程缓存期间造成问题。共享缓存中的错误缓存条目会影响项目中的每位开发者,而擦除整个远程缓存不是一个可行的解决方案。
沙盒模拟了远程执行的行为 - 如果某个 build 在沙盒中运行良好,那么它在远程执行环境中也可能会运行良好。与每次想要试用新编译器或更改现有工具时都必须在集群中的每台机器上安装工具相比,通过让远程执行上传所有必要文件(包括本地工具),您可以显著降低编译集群的维护费用。
使用哪种沙盒策略
您可以使用策略标志选择要使用的沙盒类型(如果有)。使用 sandboxed
策略会让 Bazel 选择下列沙盒实现之一,并优先选择特定于操作系统的沙盒,而不是封闭性较低的通用沙盒。如果您传递 --worker_sandboxing
标志,永久性工作器将在通用沙盒中运行。
local
(也称为 standalone
)策略不会执行任何类型的沙盒化。
它只会执行操作的命令行,并将工作目录设置为工作区的 execroot。
processwrapper-sandbox
是一种沙盒策略,不需要任何“高级”功能 - 它应该可以直接在任何 POSIX 系统上运行。它会构建一个沙盒目录,其中包含指向原始源文件的符号链接,并将工作目录设置为此目录(而非 execroot)来执行操作的命令行,然后将已知输出工件从沙盒中移至 execroot 并删除沙盒。这样可以防止操作意外使用未声明的任何输入文件,并防止在 execroot 中填充未知的输出文件。
linux-sandbox
更进一步,在 processwrapper-sandbox
之上构建。与 Docker 在后台执行的操作类似,它使用 Linux 命名空间(用户、挂载、PID、网络和 IPC 命名空间)将操作与主机隔离。也就是说,除了沙盒目录外,它会将整个文件系统设为只读,因此该操作不会意外修改主机文件系统上的任何内容。这样可以防止出现 bug 测试意外 rm -rf 您的 $HOME 目录的情况。(可选)您还可以阻止操作访问网络。linux-sandbox
使用 PID 命名空间来阻止操作看到任何其他进程,并在结束时可靠地终止所有进程(即使是操作生成的守护程序)。
darwin-sandbox
与之类似,但适用于 macOS。它使用 Apple 的 sandbox-exec
工具实现与 Linux 沙盒大致相同的效果。
由于操作系统提供的机制存在限制,linux-sandbox
和 darwin-sandbox
均不适用于“嵌套”场景。由于 Docker 也使用 Linux 命名空间来实现容器魔法,因此除非您使用 docker run --privileged
,否则无法在 Docker 容器中轻松运行 linux-sandbox
。在 macOS 上,您无法在已沙盒化的进程中运行 sandbox-exec
。因此,在这些情况下,Bazel 会自动回退到使用 processwrapper-sandbox
。
如果您更希望收到构建错误(例如,不想意外使用较不严格的执行策略进行构建),请明确修改 Bazel 尝试使用的执行策略列表(例如 bazel build
--spawn_strategy=worker,linux-sandbox
)。
动态执行通常需要在沙盒中进行本地执行。如需停用,请传递 --experimental_local_lockfree_output
标志。动态执行会静默沙盒化永久性工作器。
沙盒化弊端
沙盒化会产生额外的设置和拆解费用。此类开销的大小取决于许多因素,包括 build 的形状和主机操作系统的性能。对于 Linux,沙盒化 build 的速度很少会比原生 build 慢超过百分之几。设置
--reuse_sandbox_directories
可以降低设置和拆解费用。沙盒化可有效停用该工具可能拥有的任何缓存。您可以使用永久性工作器来缓解此问题,但代价是沙盒保证会降低。
多个工作器需要明确的工作器支持才能沙盒化。不支持多重沙盒化的工作器在动态执行时会作为单重工作器运行,这可能会消耗额外的内存。
sandboxfs
sandboxfs
是一种 FUSE 文件系统,可公开底层文件系统的任意视图,而不会造成时间延迟。Bazel 使用 sandboxfs
为每个操作即时生成 execroot/
,从而避免发出数千次系统调用的开销。请注意,由于 FUSE 开销,execroot/
中的进一步 I/O 可能会变慢。
安装 sandboxfs
请按照以下步骤安装 sandboxfs
并使用它执行 Bazel 构建:
下载
下载并安装
sandboxfs
,以便 sandboxfs
二进制文件最终位于 PATH
中。
运行 sandboxfs
- (仅限 macOS)安装 OSXFUSE。
(仅限 macOS)运行以下命令:
sudo sysctl -w vfs.generic.osxfuse.tunables.allow_other=1
您需要在安装后以及每次重启后执行此操作,以确保核心 macOS 系统服务通过 sandboxfs 运行。
使用
--experimental_use_sandboxfs
运行 Bazel build。bazel build target --experimental_use_sandboxfs
问题排查
如果您看到 local
(而非 darwin-sandbox
或 linux-sandbox
)作为执行的操作的注解,则可能表示沙盒已停用。传递 --genrule_strategy=sandboxed --spawn_strategy=sandboxed
即可启用它。
调试
请按照以下策略调试沙盒问题。
已停用的命名空间
在某些平台(例如 Google Kubernetes Engine 集群节点或 Debian)上,出于安全考虑,系统会默认停用用户命名空间。如果 /proc/sys/kernel/unprivileged_userns_clone
文件存在且包含 0,您可以通过运行以下命令来激活用户命名空间:
sudo sysctl kernel.unprivileged_userns_clone=1
规则执行失败
沙盒可能因系统设置而无法执行规则。如果您看到 namespace-sandbox.c:633: execvp(argv[0], argv): No such file or
directory
等消息,请尝试使用 --strategy=Genrule=local
停用 genrules 沙盒,使用 --spawn_strategy=local
停用其他规则。
针对构建失败进行详细调试
如果构建失败,请使用 --verbose_failures
和 --sandbox_debug
让 Bazel 显示构建失败时运行的确切命令,包括设置沙盒的部分。
错误消息示例:
ERROR: path/to/your/project/BUILD:1:1: compilation of rule
'//path/to/your/project:all' failed:
Sandboxed execution failed, which may be legitimate (such as a compiler error),
or due to missing dependencies. To enter the sandbox environment for easier
debugging, run the following command in parentheses. On command failure, a bash
shell running inside the sandbox will then automatically be spawned
namespace-sandbox failed: error executing command
(cd /some/path && \
exec env - \
LANG=en_US \
PATH=/some/path/bin:/bin:/usr/bin \
PYTHONPATH=/usr/local/some/path \
/some/path/namespace-sandbox @/sandbox/root/path/this-sandbox-name.params --
/some/path/to/your/some-compiler --some-params some-target)
现在,您可以检查生成的沙盒目录,查看 Bazel 创建了哪些文件,然后再次运行该命令,了解其行为方式。
请注意,当您使用 --sandbox_debug
时,Bazel 不会删除沙盒目录。除非您正在积极调试,否则应停用 --sandbox_debug
,因为它会随着时间的推移而填满磁盘。