本页介绍了如何检查缓存命中率,以及如何在远程执行环境中调查缓存未命中问题。
本页面假定您的构建和/或测试已成功完成, 采用远程执行方式,因此您需要确保 充分利用远程缓存
检查您的缓存命中率
在 Bazel 运行的标准输出中,查看 INFO
行,该行列出了
过程(大致对应于 Bazel 操作)。该行详细说明了操作的运行位置。查找 remote
标签,该标签表示某项操作
远程执行、linux-sandbox
(表示在本地沙盒中执行的操作)
以及其他执行策略的其他值。操作的结果来自远程缓存时,会显示为 remote cache hit
。
例如:
INFO: 11 processes: 6 remote cache hit, 3 internal, 2 remote.
在此示例中,有 6 次远程缓存命中,2 次操作未命中缓存,并在远程执行。可以忽略 3 个内部部分。
通常是微小的内部操作,如创建符号链接。此摘要不包含本地缓存命中。如果得到 0 个进程
(或低于预期的数字),运行 bazel clean
,后跟构建/测试
命令。
缓存命中问题排查
如果您未获得预期的缓存命中率,请执行以下操作:
确保重新运行同一构建/测试命令会生成缓存命中
运行您希望填充缓存的构建和/或测试。在特定堆栈上首次运行新 build 时,您可能不会获得任何远程缓存命中。作为远程执行的一部分,操作结果存储在 缓存,后续运行时应该会使用它们。
运行
bazel clean
。此命令会清理您的本地缓存 以便调查远程缓存命中而不遮盖 本地缓存命中再次运行要调查的 build 和测试(在同一台机器上)。
检查
INFO
行上的缓存命中率。如果您除了remote cache hit
和internal
之外没有看到任何进程,则说明您的缓存正在正确填充和访问。在这种情况下,请跳到下一部分。造成差异的可能原因可能是 build 中某些非封闭因素导致 在两次运行中接收不同的操作键的操作。如需查找这些操作,请执行以下操作:
a. 重新运行相关的构建或测试以获取执行日志:
bazel clean
bazel --optional-flags build //your:target --execution_log_compact_file=/tmp/exec1.log
b. 比较两次运行的执行日志。确保两个日志文件中的操作完全相同。 差异可以揭示 。请更新您的 build 以消除这些差异。
如果您能够解决缓存问题,并且现在重复运行会产生所有缓存命中,请跳至下一部分。
如果您的操作 ID 相同,但没有缓存命中,则说明您的配置中存在某些内容会阻止缓存。继续完成此部分, 检查是否存在常见问题。
检查执行日志中的所有操作是否将
cacheable
设置为 true。如果cacheable
未显示在给定操作的执行日志中, 表示相应规则的no-cache
定义。BUILD
查看执行日志中的mnemonic
和target_label
字段,以帮助确定操作的来源。如果操作相同且
cacheable
,但没有缓存命中,则 您的命令行可能包含--noremote_accept_cached
会停用构建的缓存查找如果很难找出实际的命令行,请使用规范的 命令行 构建事件协议 如下所示:
a. 将
--build_event_text_file=/tmp/bep.txt
添加到 Bazel 命令中,以获取日志的文本版本。b. 打开文本版日志并搜索
structured_command_line
条与command_line_label: "canonical"
的消息。 展开后,系统会列出所有选项。c. 搜索
remote_accept_cached
并检查它是否设置为false
。d. 如果
remote_accept_cached
为false
,请确定其放置位置 设置为false
:可以在命令行或 bazelrc 文件。
确保跨机器进行缓存
在同一台机器上按预期发生缓存命中后,请在其他机器上运行相同的 build/测试。如果您怀疑缓存 请执行以下操作:
请对构建稍作修改,以免影响现有缓存。
在第一台机器上运行 build:
bazel clean
bazel ... build ... --execution_log_compact_file=/tmp/exec1.log
在第二台机器上运行 build,确保包含第 1 步中的修改:
bazel clean
bazel ... build ... --execution_log_compact_file=/tmp/exec2.log
比较二者的执行日志 。如果日志不相同,请检查 build 配置是否存在差异,以及是否有来自主机环境的属性泄露到其中任一 build 中。
比较执行日志
执行日志包含在构建期间执行的操作记录。 每个记录都描述了操作的输入(不仅包括文件,还包括命令行参数、环境变量等)和输出。因此, 检查日志可了解重新执行操作的原因。
可以采用以下三种格式之一生成执行日志:
较小 (--execution_log_compact_file
)、
二进制 (--execution_log_binary_file
) 或 JSON (--execution_log_json_file
)。
建议使用紧凑格式,因为这种格式可以生成小得多的文件,而且文件内容
运行时开销很低以下说明适用于任何格式。您还可以使用 //src/tools/execlog:converter
工具在它们之间进行转换。
如需比较两个未按预期共享缓存命中的构建的日志, 执行以下操作:
从每个构建获取执行日志,并将它们存储为
/tmp/exec1.log
,/tmp/exec2.log
。下载 Bazel 源代码并构建
//src/tools/execlog:parser
工具:git clone https://github.com/bazelbuild/bazel.git CD Bazel bazel build //src/tools/execlog:parser
使用
//src/tools/execlog:parser
工具将日志转换为 简单易懂的文本格式。在此格式中,第二个日志中的操作为 已排序以匹配第一个日志中的顺序,从而简化比较。bazel-bin/src/tools/execlog/parser \ --log_path=/tmp/exec1.log \ --log_path=/tmp/exec2.log \ --output_path=/tmp/exec1.log.txt \ --output_path=/tmp/exec2.log.txt
使用您喜爱的文本区分
/tmp/exec1.log.txt
和/tmp/exec2.log.txt
。