模块扩展

报告问题 查看源代码 每夜 build · 7.4 .

借助模块扩展,用户可以通过从依赖项图中的模块读取输入数据、执行必要的逻辑来解析依赖项,最后通过调用代码库规则创建代码库来扩展模块系统。这些扩展程序的功能与代码库规则类似,可执行文件 I/O、发送网络请求等操作。除此之外,它们还允许 Bazel 与其他软件包管理系统交互,同时遵循由 Bazel 模块构建的依赖项图。

您可以在 .bzl 文件中定义模块扩展,就像定义 Repo 规则一样。它们不是直接调用的;相反,每个模块都会指定一段称为“标记”的数据,以供扩展程序读取。Bazel 会先运行模块解析,然后再评估任何扩展程序。该扩展程序会读取整个依赖项图中属于它的所有代码。

扩展程序使用情况

扩展程序托管在 Bazel 模块本身中。如需在模块中使用扩展程序,请先在托管扩展程序的模块上添加 bazel_dep,然后调用 use_extension 内置函数将其纳入范围。请考虑以下示例:MODULE.bazel 文件中的代码段,用于使用 rules_jvm_external 模块中定义的“maven”扩展程序:

bazel_dep(name = "rules_jvm_external", version = "4.5")
maven = use_extension("@rules_jvm_external//:extensions.bzl", "maven")

这会将 use_extension 的返回值绑定到一个变量,以便用户使用点语法为扩展程序指定标记。这些标记必须遵循扩展定义中指定的相应标记类定义的架构。例如,指定一些 maven.installmaven.artifact 标记:

maven.install(artifacts = ["org.junit:junit:4.13.2"])
maven.artifact(group = "com.google.guava",
               artifact = "guava",
               version = "27.0-jre",
               exclusions = ["com.google.j2objc:j2objc-annotations"])

使用 use_repo 指令将扩展程序生成的代码库纳入当前模块的作用域内。

use_repo(maven, "maven")

扩展程序生成的代码库是其 API 的一部分。在此示例中,“maven”模块扩展程序会承诺生成一个名为 maven 的代码库。使用上述声明,扩展程序可以正确解析 @maven//:org_junit_junit 等标签,使其指向由“maven”扩展程序生成的代码库。

扩展定义

您可以使用 module_extension 函数定义与 Repo 规则类似的模块扩展。不过,虽然 repo 规则具有许多属性,但模块扩展具有 tag_class,每个属性都具有多个属性。代码类定义了此扩展程序使用的代码的架构。例如,上面的“maven”扩展可能定义如下:

# @rules_jvm_external//:extensions.bzl

_install = tag_class(attrs = {"artifacts": attr.string_list(), ...})
_artifact = tag_class(attrs = {"group": attr.string(), "artifact": attr.string(), ...})
maven = module_extension(
  implementation = _maven_impl,
  tag_classes = {"install": _install, "artifact": _artifact},
)

这些声明表明,可以使用指定的属性架构指定 maven.installmaven.artifact 标记。

模块扩展的实现函数与代码库规则的实现函数类似,但它们会获取 module_ctx 对象,该对象会授予对使用该扩展程序的所有模块以及所有相关标记的访问权限。然后,实现函数会调用代码库规则来生成代码库。

# @rules_jvm_external//:extensions.bzl

load("@bazel_tools//tools/build_defs/repo:http.bzl", "http_file")  # a repo rule
def _maven_impl(ctx):
  # This is a fake implementation for demonstration purposes only

  # collect artifacts from across the dependency graph
  artifacts = []
  for mod in ctx.modules:
    for install in mod.tags.install:
      artifacts += install.artifacts
    artifacts += [_to_artifact(artifact) for artifact in mod.tags.artifact]

  # call out to the coursier CLI tool to resolve dependencies
  output = ctx.execute(["coursier", "resolve", artifacts])
  repo_attrs = _process_coursier_output(output)

  # call repo rules to generate repos
  for attrs in repo_attrs:
    http_file(**attrs)
  _generate_hub_repo(name = "maven", repo_attrs)

扩展程序身份

模块扩展程序由名称和调用 use_extension 时显示的 .bzl 文件标识。在以下示例中,扩展名 maven.bzl 文件 @rules_jvm_external//:extension.bzl 和名称 maven 标识:

maven = use_extension("@rules_jvm_external//:extensions.bzl", "maven")

从其他 .bzl 文件重新导出扩展程序会为其提供新的身份,如果传递模块图中使用了该扩展程序的两个版本,则系统会分别对它们进行评估,并且只会看到与该特定身份相关联的标记。

作为扩展程序的作者,您应确保用户只会使用一个 .bzl 文件中的模块扩展程序。

代码库名称和可见性

扩展程序生成的代码库采用 module_repo_canonical_name~extension_name~repo_name 格式的规范名称。对于托管在根模块中的扩展程序,module_repo_canonical_name 部分会替换为字符串 _main。请注意,规范名称格式不是您应依赖的 API,它可能会随时发生变化。

此命名政策意味着每个扩展程序都有自己的“代码库命名空间”;两个不同的扩展程序可以分别定义一个同名的代码库,而不会冒任何冲突。这也意味着,repository_ctx.name 会报告代码库的规范名称,该名称与代码库规则调用中指定的名称不同

考虑到由模块扩展生成的代码库,有几个代码库公开范围规则:

  • Bazel 模块代码库可以通过 bazel_depuse_repo 查看其 MODULE.bazel 文件中引入的所有代码库。
  • 由模块扩展程序生成的代码库可以查看对托管扩展程序的模块可见的所有代码库,以及由同一模块扩展程序生成的所有其他代码库(使用在 Repo 规则调用中指定的名称作为其表观名称)。
    • 这可能会导致冲突。如果模块代码库可以看到名称为 foo 的代码库,并且该扩展程序生成了名称为 foo 的代码库,那么对于该扩展程序生成的所有代码库,foo 都指前者。
  • 同样,在模块扩展的实现函数中,由扩展程序创建的代码库可以通过属性中的表观名称相互引用,无论这些代码库的创建顺序如何。
    • 如果与模块可见的代码库发生冲突,可以将传递给代码库规则属性的标签封装在对 Label 的调用中,以确保它们引用模块可见的代码库,而不是扩展程序生成的同名代码库。

替换和注入模块扩展程序代码库

根模块可以使用 override_repoinject_repo 替换或注入模块扩展程序仓库。

示例:将 rules_javajava_tools 替换为供应商提供的副本

# MODULE.bazel
local_repository = use_repo_rule("@bazel_tools//tools/build_defs/repo:local.bzl", "local_repository")
local_repository(
  name = "my_java_tools",
  path = "vendor/java_tools",
)

bazel_dep(name = "rules_java", version = "7.11.1")
java_toolchains = use_extension("@rules_java//java:extension.bzl", "toolchains")

override_repo(java_toolchains, remote_java_tools = "my_java_tools")

示例:修补 Go 依赖项,使其依赖于 @zlib,而不是系统 zlib

# MODULE.bazel
bazel_dep(name = "gazelle", version = "0.38.0")
bazel_dep(name = "zlib", version = "1.3.1.bcr.3")

go_deps = use_extension("@gazelle//:extensions.bzl", "go_deps")
go_deps.from_file(go_mod = "//:go.mod")
go_deps.module_override(
  patches = [
    "//patches:my_module_zlib.patch",
  ],
  path = "example.com/my_module",
)
use_repo(go_deps, ...)

inject_repo(go_deps, "zlib")
# patches/my_module_zlib.patch
--- a/BUILD.bazel
+++ b/BUILD.bazel
@@ -1,6 +1,6 @@
 go_binary(
     name = "my_module",
     importpath = "example.com/my_module",
     srcs = ["my_module.go"],
-    copts = ["-lz"],
+    cdeps = ["@zlib"],
 )

最佳做法

本部分介绍了编写扩展程序的最佳实践,以便扩展程序易于使用、可维护且能够适应随时间推移而发生的变化。

将每个扩展程序放在单独的文件中

当扩展程序位于不同的文件中时,一个扩展程序可以加载另一个扩展程序生成的代码库。即使您不使用该功能,最好将它们放在单独的文件中,以备日后需要。这是因为扩展程序的身份基于其文件,因此将扩展程序移至另一个文件稍后会更改您的公共 API,并且对用户来说是向后不兼容的更改。

指定可重现性

如果您的扩展程序在给定相同输入(扩展程序代码、它读取的文件等)时始终定义相同的代码库,并且特别不依赖于未由校验和保护的任何下载内容,请考虑使用 reproducible = True 返回 extension_metadata。这样,Bazel 在写入锁定文件时就可以跳过此扩展。

指定操作系统和架构

如果您的扩展程序依赖于操作系统或其架构类型,请务必在扩展程序定义中使用 os_dependentarch_dependent 布尔值属性指明这一点。这样可以确保当其中任一项发生更改时,Bazel 能够识别需要重新评估的情况。

由于这种对主机的依赖会让维护此扩展程序的锁定文件条目更加困难,因此请考虑将扩展程序标记为可重现

只有根模块会直接影响代码库名称

请注意,当扩展程序创建代码库时,这些代码库会在扩展程序的命名空间中创建。这意味着,如果不同的模块使用相同的扩展程序并最终创建同名代码库,则可能会发生冲突。这通常表现为模块扩展程序的 tag_class 具有一个 name 参数,该参数会作为代码库规则的 name 值传递。

例如,假设根模块 A 依赖于模块 B。这两个模块都依赖于模块 mylang。如果 AB 都调用 mylang.toolchain(name="foo"),它们都会尝试在 mylang 模块中创建一个名为 foo 的仓库,并且会发生错误。

为避免这种情况,请取消直接设置代码库名称的功能,或仅允许根模块执行此操作。您可以允许根模块具有这种权限,因为没有任何内容依赖于它,因此不必担心另一个模块创建冲突的名称。