本页介绍了如何检查缓存命中率,以及如何在远程执行环境中调查缓存未命中。
本页面假定您的构建和/或测试成功利用了远程执行,并且您希望确保有效利用远程缓存。
检查您的缓存命中率
在 Bazel 运行的标准输出中,查看列出了进程的 INFO
行,这些进程大致对应于 Bazel 操作。该行会详细说明执行操作的位置。查找 remote
标签(表示远程执行的操作)、linux-sandbox
(表示在本地沙盒中执行的操作)以及其他执行策略的其他值。结果来自远程缓存的操作会显示为 remote cache hit
。
例如:
INFO: 11 processes: 6 remote cache hit, 3 internal, 2 remote.
在此示例中,有 6 次远程缓存命中,有 2 项操作没有缓存命中并远程执行。可以忽略 3 个内部部分。通常是微小的内部操作,如创建符号链接。此摘要中不包含本地缓存命中次数。如果您获得 0 个进程(或数量低于预期),请运行 bazel clean
,后跟您的构建/测试命令。
缓存命中问题排查
如果您没有获得预期的缓存命中率,请执行以下操作:
确保重新运行相同的构建/测试命令会生成缓存命中
运行您希望填充缓存的构建和/或测试。首次在特定堆栈上运行新构建时,可能不会出现远程缓存命中。在远程执行过程中,操作结果会存储在缓存中,后续运行应该会提取它们。
运行
bazel clean
。此命令会清理您的本地缓存,让您可以调查远程缓存命中,而无需在本地缓存命中掩盖结果。(在同一台机器上)再次运行您要调查的构建和测试。
检查
INFO
行上的缓存命中率。如果您未看到除remote cache hit
和internal
以外的进程,则表示缓存已正确填充和访问。在这种情况下,请跳至下一部分。差异可能的原因是 build 中某些非封闭因素导致相应操作在两次运行中收到不同的操作键。如需查找这些操作,请执行以下操作:
a. 重新运行相关的构建或测试以获取执行日志:
bazel clean
bazel --optional-flags build //your:target --execution_log_binary_file=/tmp/exec1.log
b. 比较两次运行之间的执行日志。确保在两个日志文件中执行的操作相同。 差异可让您了解运行之间发生的更改。请更新您的 build 以消除这些差异。
如果您能够解决缓存问题,并且现在重复运行会生成所有缓存命中,请跳到下一部分。
如果您的操作 ID 相同,但没有缓存命中,则表示您的配置中的某些因素阻止了缓存。请继续查看本部分以检查是否存在常见问题。
如果您不需要比较执行日志,则可以改用简单易懂的
--execution_log_json_file
标志。它不能用于稳定的差异比较,因为它包含执行时间并且不保证排序。检查执行日志中的所有操作是否将
cacheable
设置为 true。如果给定操作的执行日志中未显示cacheable
,则表示相应规则在BUILD
文件的定义中可能包含no-cache
标记。查看执行日志中人类可读的progress_message
字段,以帮助确定操作的来源。如果操作相同且为
cacheable
,但没有缓存命中,则您的命令行可能包含--noremote_accept_cached
,这会停用 build 的缓存查找。如果难以找出实际命令行,请使用 Build Event Protocol 中的规范命令行,如下所示:
a. 将
--build_event_text_file=/tmp/bep.txt
添加到 Bazel 命令中,以获取日志的文本版本。b. 打开文本版本的日志,并使用
command_line_label: "canonical"
搜索structured_command_line
消息。展开后,您会看到所有选项。c. 搜索
remote_accept_cached
并检查它是否设置为false
。d. 如果
remote_accept_cached
为false
,请在命令行或 bazelrc 文件中确定将其设置为false
的位置。
确保跨机器进行缓存
在同一机器上按预期发生缓存命中后,在另一台机器上运行相同的构建/测试。如果您怀疑缓存未跨机器进行,请执行以下操作:
请对构建稍作修改,以免影响现有缓存。
在第一台机器上运行 build:
bazel clean
bazel ... build ... --execution_log_binary_file=/tmp/exec1.log
在第二台机器上运行 build,确保包含第 1 步中的修改:
bazel clean
bazel ... build ... --execution_log_binary_file=/tmp/exec2.log
比较两次运行的执行日志。如果日志不相同,请检查 build 配置是否存在差异,以及是否存在从主机环境中泄露到任一 build 中的属性。
比较执行日志
执行日志包含在构建期间执行的所有操作的记录。对于每个操作,都有一个 SpawnExec 元素,其中包含操作键中的所有信息。因此,如果日志相同,则操作缓存键也相同。
如需比较两个未按预期共享缓存命中的构建的日志,请执行以下操作:
从每个构建中获取执行日志,并将其存储为
/tmp/exec1.log
和/tmp/exec2.log
。下载 Bazel 源代码,然后使用以下命令导航到 Bazel 文件夹。您需要源代码才能使用 execlog 解析器解析执行日志。
git clone https://github.com/bazelbuild/bazel.git cd bazel
使用执行日志解析器将日志转换为文本。以下调用还会对第二个日志中的操作进行排序,使其与第一个日志中的操作顺序匹配,以便于比较。
bazel build src/tools/execlog:parser bazel-bin/src/tools/execlog/parser \ --log_path=/tmp/exec1.log \ --log_path=/tmp/exec2.log \ --output_path=/tmp/exec1.log.txt \ --output_path=/tmp/exec2.log.txt
使用您喜爱的文本来区分
/tmp/exec1.log.txt
和/tmp/exec2.log.txt
。