使用 Bazel 实现代码覆盖率

报告问题 查看源代码

Bazel 包含一个 coverage 子命令,用于生成可通过 bazel coverage 测试的代码库的代码覆盖率报告。由于各种语言生态系统的特性,为给定项目完成这项工作有时并非易事。

本页记录了创建和查看覆盖率报告的常规流程,还针对配置非常熟悉的语言提供了一些特定语言的备注。最好先阅读常规部分,然后再阅读特定语言的要求。另请注意远程执行部分,这需要额外考虑一些事项。

虽然可以进行大量自定义,但本文档重点介绍的是生成和使用 lcov 报告,这是目前支持程度最高的路由。

创建覆盖率报告

准备工作

创建覆盖率报告的基本工作流需要执行以下操作:

  • 包含测试目标的基本代码库
  • 已安装特定语言代码覆盖率工具的工具链
  • 正确的“插桩”配置

前两个是特定于语言且基本上简单的操作,但对于复杂的项目来说,后者可能更加困难。

在本例中,“插桩”是指用于特定目标的覆盖率工具。Bazel 允许使用 --instrumentation_filter 标志为一部分特定文件启用此功能,该标志用于指定在启用插桩后测试的目标的过滤器。如需为测试启用插桩,必须使用 --instrument_test_targets 标志。

默认情况下,bazel 会尝试匹配目标软件包,并将相关过滤条件输出为 INFO 消息。

跑步覆盖率

如需生成覆盖率报告,请使用 bazel coverage --combined_report=lcov [target]。这会针对目标运行测试,并以 lcov 格式为每个文件生成覆盖率报告。

完成后,bazel 会运行一项操作,该操作会收集生成的所有覆盖率文件,并将其合并到一个文件中,然后最终在 $(bazel info output_path)/_coverage/_coverage_report.dat 下创建这些文件。

如果测试失败,系统也会生成覆盖率报告,但请注意,这不会扩展到失败的测试,只会报告通过的测试。

查看报道

覆盖率报告仅以非人类可读的 lcov 格式输出。然后,我们可以使用 genhtml 实用程序(lcov 项目的一部分)来生成可在网络浏览器中查看的报告:

genhtml --branch-coverage --output genhtml "$(bazel info output_path)/_coverage/_coverage_report.dat"

请注意,genhtml 也会读取源代码,以注释这些文件中缺少的覆盖率。为此,应该在 bazel 项目的根目录中执行 genhtml

如需查看结果,只需在任何网络浏览器中打开 genhtml 目录中生成的 index.html 文件。

如需获取有关 genhtml 工具或 lcov 覆盖率格式的更多帮助和信息,请参阅 lcov 项目

远程执行

使用远程测试作业运行时,有一些注意事项:

  • 此报表组合操作尚不可远程运行。这是因为 Bazel 不会将覆盖率输出文件视为其图表的一部分(请参阅此问题),因此无法将其正确视为组合操作的输入。如需解决此问题,请使用 --strategy=CoverageReport=local
    • 注意:如果 Bazel 已设置为尝试使用 local,remote,那么由于 Bazel 解析策略的方式,您可能需要改为指定 --strategy=CoverageReport=local,remote 之类的代码。
  • --remote_download_minimal 和类似标志不能用作前者的结果。
  • 如果之前已缓存测试,则 Bazel 目前无法创建覆盖率信息。为了解决这个问题,可以专门为覆盖率运行设置 --nocache_test_results,不过在测试时当然会产生高昂的费用。
  • --experimental_split_coverage_postprocessing--experimental_fetch_all_coverage_outputs
    • 覆盖率通常作为测试操作的一部分运行,因此默认情况下,我们不会将所有覆盖率作为远程执行的输出返回。这些标志会替换默认值并获取覆盖率数据。如需了解详情,请参阅此问题

特定语言的配置

Java

Java 应能以默认配置开箱即用。bazel 工具链还包含远程执行所需的全部功能,包括 JUnit。

Python

如需了解在 Python 中启用覆盖率支持所需的其他步骤,请参阅 rules_python 覆盖率文档