优化内存

报告问题 查看源代码 每夜 build · 8.0 7.4 . 7.3 · 7.2 · 7.1 · 7.0 · 6.5

本页介绍了如何限制和减少 Bazel 使用的内存。

在 RAM 有限的情况下运行 Bazel

在某些情况下,您可能希望 Bazel 使用最少的内存。您可以通过启动标志 --host_jvm_args(例如 --host_jvm_args=-Xmx2g)设置堆大小上限。

以内存为代价加快增量构建速度

如果您的 build 过大,Bazel 在内存不足时可能会抛出 OutOfMemoryError (OOM)。您可以通过传递以下命令标志来让 Bazel 使用更少的内存,但代价是增量构建速度会变慢:--discard_analysis_cache--nokeep_state_after_build--notrack_incremental_state

这些标志会最大限度地减少 Bazel 在构建过程中使用的内存,但代价是未来的构建速度会比标准增量构建慢。

您也可以单独传递以下任一标志:

  • --discard_analysis_cache 会减少执行(而非分析)期间使用的内存。增量 build 无需重新加载软件包,但必须重新执行分析和执行(尽管磁盘上的操作缓存可以防止大多数重新执行)。
  • --notrack_incremental_state 不会在 Bazel 的内部依赖项图中存储任何边,因此无法用于增量构建。下一个 build 将舍弃这些数据,但在那之前,系统会保留这些数据以进行内部调试,除非指定了 --nokeep_state_after_build
  • --nokeep_state_after_build 会在 build 后舍弃所有数据,因此增量 build 必须从头开始构建(磁盘上的操作缓存除外)。这不会影响当前 build 的最高水位。

使用 Skyfocus(实验性)以内存换取构建灵活性

如果您想让 Bazel 使用更少的内存保持增量构建速度,可以告诉 Bazel 您要修改的文件的工作集,这样 Bazel 只会保留正确增量重新构建这些文件所需的状态。此功能称为 Skyfocus

如需使用 Skyfocus,请传递 --experimental_enable_skyfocus 标志:

bazel build //pkg:target --experimental_enable_skyfocus

默认情况下,工作集将是位于要构建的目标旁边的一组文件。在该示例中,//pkg 中的所有文件都将保留在工作集中,并且系统将禁止对工作集中以外的文件进行更改,直到您发出 bazel clean 或重启 Bazel 服务器。

如果您要指定一组确切的文件或目录,请使用 --experimental_working_set 标志,如下所示:

bazel build //pkg:target --experimental_enable_skyfocus
--experimental_working_set=path/to/another/dir,path/to/tests/dir

您还可以传递 --experimental_skyfocus_dump_post_gc_stats 以显示减少的内存量:

将所有内容整合在一起,您应该会看到如下内容:

$ bazel test //pkg:target //tests/... --experimental_enable_skyfocus --experimental_working_set dir1,dir2,dir3/subdir --experimental_skyfocus_dump_post_gc_stats
INFO: --experimental_enable_skyfocus is enabled. Blaze will reclaim memory not needed to build the working set. Run 'blaze dump --skyframe=working_set' to show the working set, after this command.
WARNING: Changes outside of the working set will cause a build error.
INFO: Analyzed 149 targets (4533 packages loaded, 169438 targets configured).
INFO: Found 25 targets and 124 test targets...
INFO: Updated working set successfully.
INFO: Focusing on 334 roots, 3 leafs... (use --experimental_skyfocus_dump_keys to show them)
INFO: Heap: 1237MB -> 676MB (-45.31%)
INFO: Elapsed time: 192.670s ...
INFO: Build completed successfully, 62303 total actions

在本例中,使用 Skyfocus 后,Bazel 可以减少 561MB(45%)的内存,并且用于处理 dir1dir2dir3/subdir 下文件更改的增量 build 将保持快速速度,但代价是 Bazel 无法重新构建这些目录之外发生更改的文件。

内存性能分析

Bazel 附带内置内存性能分析器,可帮助您检查规则的内存用量。如需详细了解此过程,请参阅有关如何提升自定义规则性能的文档中的“内存性能分析”部分