Consulta do gráfico de ações (aquery)

Relatar um problema Conferir código-fonte Por noite · 7,3 · 7,2 · 7,1 · 7,0 · 6,5

O comando aquery permite consultar ações no gráfico de build. Ele opera no gráfico de destino configurado pós-análise e expõe informações sobre Ações, Artefatos e seus relacionamentos.

aquery é útil quando você tem interesse nas propriedades de ações/artefatos. gerado a partir do gráfico de segmentação configurado. Por exemplo, os comandos reais são executados e as entradas/saídas/mnemônicas deles.

A ferramenta aceita várias opções de linha de comando. O comando aquery é executado sobre um build regular do Bazel e herda o conjunto de opções disponíveis durante um build.

Ela suporta o mesmo conjunto de funções que também está disponível para query, mas siblings, buildfiles e tests.

Um exemplo de saída aquery (sem detalhes específicos):

$ bazel aquery 'deps(//some:label)'
action 'Writing file some_file_name'
  Mnemonic: ...
  Target: ...
  Configuration: ...
  ActionKey: ...
  Inputs: [...]
  Outputs: [...]

Sintaxe básica

Este é um exemplo simples da sintaxe de aquery:

bazel aquery "aquery_function(function(//target))"

A expressão de consulta (entre aspas) consiste no seguinte:

• aquery_function(...): funções específicas de aquery. Confira mais detalhes abaixo.
• function(...): as funções padrão como o query tradicional.
• //target é o rótulo do destino interessado.

# aquery examples:
# Get the action graph generated while building //src/target_a
$ bazel aquery '//src/target_a'

# Get the action graph generated while building all dependencies of //src/target_a
$ bazel aquery 'deps(//src/target_a)'

# Get the action graph generated while building all dependencies of //src/target_a
# whose inputs filenames match the regex ".*cpp".
$ bazel aquery 'inputs(".*cpp", deps(//src/target_a))'

Como usar funções aquery

Há três funções aquery:

• inputs: filtra ações por entradas.
• outputs: filtrar ações por saídas
• mnemonic: filtrar ações por mnemônico

expr ::= inputs(word, expr)

O operador inputs retorna as ações geradas pela criação expr. com nomes de arquivo de entrada que correspondam ao regex fornecido por word.

$ bazel aquery 'inputs(".*cpp", deps(//src/target_a))'

As funções outputs e mnemonic compartilham uma sintaxe semelhante.

Você também pode combinar funções para obter a operação AND. Exemplo:

  $ bazel aquery 'mnemonic("Cpp.*", (inputs(".*cpp", inputs("foo.*", //src/target_a))))'

O comando acima encontraria todas as ações envolvidas na criação //src/target_a. com mnemônicas que correspondam a "Cpp.*" e entradas que correspondam aos padrões ".*cpp" e "foo.*".

Importante: as funções de consulta não podem ser aninhadas em funções que não são de consulta. Conceitualmente, isso faz sentido, já que a saída das funções de consulta são ações, destinos não configurados.

Um exemplo do erro de sintaxe gerado:

        $ bazel aquery 'deps(inputs(".*cpp", //src/target_a))'
        ERROR: aquery filter functions (inputs, outputs, mnemonic) produce actions,
        and therefore can't be the input of other function types: deps
        deps(inputs(".*cpp", //src/target_a))

Opções

Opções de build

aquery é executado sobre uma versão regular do Bazel e, portanto, herda o conjunto de opções disponíveis durante um build.

Opções de consulta

--output=(text|summary|proto|jsonproto|textproto), default=text

O formato de saída padrão (text) é legível por humanos, use proto, textproto ou jsonproto para um formato legível por máquina. A mensagem proto é analysis.ActionGraphContainer.

--include_commandline, default=true

Inclui o conteúdo das linhas de comando de ação na saída (possivelmente grande).

--include_artifacts, default=true

Inclui nomes das entradas e saídas de ação na saída (possivelmente grande).

--include_aspects, default=true

Define se ações geradas pelo aspecto serão incluídas na saída.

--include_param_files, default=false

Inclua o conteúdo dos arquivos de parâmetro usados no comando (possivelmente grandes).

Aviso: ativar essa flag vai ativar automaticamente a flag --include_commandline.

--include_file_write_contents, default=false

Inclua o conteúdo do arquivo para a ação actions.write() e o conteúdo do arquivo de manifesto para a ação SourceSymlinkManifest O conteúdo do arquivo é retornado no campo file_contents com --output=xxxproto. Com --output=text, a saída tem FileWriteContents: [<base64-encoded file contents>] linha

--skyframe_state, default=false

Sem fazer análises extras, despeje o Action Graph do Skyframe.

Observação: no momento, não é possível especificar um destino com --skyframe_state. Essa sinalização só está disponível com --output=proto ou --output=textproto.

Outras ferramentas e recursos

Consultar o estado do Skyframe

Skyframe é a avaliação e modelo de incrementabilidade do Bazel. Em cada instância do servidor Bazel, o Skyframe armazena o gráfico de dependência construído com base nas execuções anteriores da fase de análise.

Em alguns casos, é útil consultar o Action Graph no Skyframe. Este é um exemplo de caso de uso:

1. Executar bazel build //target_a
2. Executar bazel build //target_b
3. O arquivo foo.out foi gerado.

Como usuário do Bazel, quero determinar se foo.out foi gerado a partir da criação //target_a ou //target_b.

É possível executar bazel aquery 'outputs("foo.out", //target_a)' e bazel aquery 'outputs("foo.out", //target_b)' para descobrir a ação responsável para criar foo.out e, por sua vez, o destino. No entanto, a quantidade os destinos criados anteriormente podem ser maiores que 2, o que torna a execução de vários aquery comanda um incômodo.

Como alternativa, a sinalização --skyframe_state pode ser usada:

  # List all actions on Skyframe's action graph
  $ bazel aquery --output=proto --skyframe_state

  # or

  # List all actions on Skyframe's action graph, whose output matches "foo.out"
  $ bazel aquery --output=proto --skyframe_state 'outputs("foo.out")'

Com o modo --skyframe_state, aquery usa o conteúdo do Action Graph que o Skyframe mantém na instância do Bazel, faz a filtragem (opcional) e gera o conteúdo sem precisar repetir a fase de análise.

Considerações especiais

Formato da saída

No momento, o --skyframe_state está disponível apenas para --output=proto e --output=textproto

Não inclusão de rótulos de destino na expressão de consulta

No momento, o método --skyframe_state consulta todo o gráfico de ações que existe no Skyframe. independentemente dos destinos. Ter o rótulo alvo especificado na consulta junto com --skyframe_state é considerado um erro de sintaxe:

  # WRONG: Target Included
  $ bazel aquery --output=proto --skyframe_state **//target_a**
  ERROR: Error while parsing '//target_a)': Specifying build target(s) [//target_a] with --skyframe_state is currently not supported.

  # WRONG: Target Included
  $ bazel aquery --output=proto --skyframe_state 'inputs(".*.java", **//target_a**)'
  ERROR: Error while parsing '//target_a)': Specifying build target(s) [//target_a] with --skyframe_state is currently not supported.

  # CORRECT: Without Target
  $ bazel aquery --output=proto --skyframe_state
  $ bazel aquery --output=proto --skyframe_state 'inputs(".*.java")'

Comparação de saídas de uma consulta

É possível comparar as saídas de duas invocações de aquery diferentes usando a ferramenta aquery_differ. Por exemplo, quando você faz algumas alterações na definição da regra e quer verificar se o as linhas de comando em execução não mudaram. A aquery_differ é a ferramenta para isso.

A ferramenta está disponível no repositório bazelbuild/bazel. Para usá-lo, clone o repositório na sua máquina local. Um exemplo de uso:

  $ bazel run //tools/aquery_differ -- \
  --before=/path/to/before.proto \
  --after=/path/to/after.proto \
  --input_type=proto \
  --attrs=cmdline \
  --attrs=inputs

O comando acima retorna a diferença entre as saídas da consulta before e after: quais ações estavam presentes em um, mas não no outro, quais ações têm linha de comando/entradas em cada saída de consulta...). O resultado da execução do comando acima seria:

  Aquery output 'after' change contains an action that generates the following outputs that aquery output 'before' change doesn't:
  ...
  /list of output files/
  ...

  [cmdline]
  Difference in the action that generates the following output(s):
    /path/to/abc.out
  --- /path/to/before.proto
  +++ /path/to/after.proto
  @@ -1,3 +1,3 @@
    ...
    /cmdline diff, in unified diff format/
    ...

Opções de comando

--before, --after: os arquivos de saída do aquery a serem comparados

--input_type=(proto|text_proto), default=proto: o formato da entrada. . Há suporte para a saída de uma consulta proto e textproto.

--attrs=(cmdline|inputs), default=cmdline: os atributos das ações. para comparação.

Aspecto relacionado

É possível para Aspectos sejam aplicados uns sobre os outros. A saída do aquery da ação gerada pelo esses aspectos incluiriam o Caminho do aspecto, que é a sequência de Aspectos aplicados ao destino que gerou a ação.

Um exemplo de Aspect-on-Aspect:

  t0
  ^
  | <- a1
  t1
  ^
  | <- a2
  t2

Faça com que _i seja um destino da regra r_i, que aplica um Aspect a_i às dependências.

Suponha que a2 gere uma ação X quando aplicado ao destino t0. A saída de texto de bazel aquery --include_aspects 'deps(//t2)' para a ação X seria:

  action ...
  Mnemonic: ...
  Target: //my_pkg:t0
  Configuration: ...
  AspectDescriptors: [//my_pkg:rule.bzl%**a2**(foo=...)
    -> //my_pkg:rule.bzl%**a1**(bar=...)]
  ...

Isso significa que a ação X foi gerada pelo aspecto a2 aplicado a a1(t0), em que a1(t0) é o resultado da aplicação do aspecto a1 para a meta t0.

Cada AspectDescriptor tem o seguinte formato:

  AspectClass([param=value,...])

AspectClass pode ser o nome da classe de aspectos (para aspectos nativos) ou bzl_file%aspect_name (para Aspectos do Starlark). AspectDescriptor são classificados na ordem topológica do gráfico de dependência.

Como vincular ao perfil JSON

Enquanto uma consulta fornece informações sobre as ações em execução em um build (por que elas estão sendo entradas/saídas), o perfil JSON informa o tempo e a duração da execução. É possível combinar esses dois conjuntos de informações por meio de um denominador comum: o resultado principal de uma ação.

Para incluir ações saídas no perfil JSON, gere o perfil com --experimental_include_primary_output --noslim_profile: Perfis finos são incompatíveis com a inclusão de saídas principais. Saída principal de uma ação é incluído por padrão pela consulta.

No momento, não fornecemos uma ferramenta canônica para combinar essas duas fontes de dados, mas você deve você cria seu próprio script com as informações acima.

Problemas conhecidos

Como gerenciar ações compartilhadas

Às vezes, as ações são compartilhado entre destinos configurados.

Na fase de execução, essas ações compartilhadas são simplesmente considerado um e executado apenas uma vez. No entanto, uma consulta opera no gráfico de ação de pré-execução e pós-análise e, por isso, trata essas como ações separadas em que os artefatos de saída têm exatamente o mesmo execPath. Como resultado, os artefatos equivalentes aparecem duplicados.

A lista de problemas de consulta/atributos planejados pode ser encontrada em GitHub.

Perguntas frequentes

A ActionKey permanece a mesma, mesmo que o conteúdo do arquivo de entrada tenha mudado.

No contexto de uma consulta, ActionKey se refere ao String recebido do ActionAnalysisMetadata#getKey:

  Returns a string encoding all of the significant behaviour of this Action that might affect the
  output. The general contract of `getKey` is this: if the work to be performed by the
  execution of this action changes, the key must change.

  ...

  Examples of changes that should affect the key are:

  - Changes to the BUILD file that materially affect the rule which gave rise to this Action.
  - Changes to the command-line options, environment, or other global configuration resources
      which affect the behaviour of this kind of Action (other than changes to the names of the
      input/output files, which are handled externally).
  - An upgrade to the build tools which changes the program logic of this kind of Action
      (typically this is achieved by incorporating a UUID into the key, which is changed each
      time the program logic of this action changes).
  Note the following exception: for actions that discover inputs, the key must change if any
  input names change or else action validation may falsely validate.

Isso exclui as alterações no conteúdo dos arquivos de entrada e não deve ser confundido com RemoteCacheClient#ActionKey.

Atualizações

Caso tenha problemas ou solicitações de recursos, registre-os aqui.