Otimizar memória

Informar um problema Ver a fonte Nightly · 7.3 · 7.2 · 7.1 · 7.0 · 6.5

Nesta página, descrevemos como limitar e reduzir o uso de memória pelo Bazel.

Como executar o Bazel com RAM limitada

Em determinadas situações, talvez você queira que o Bazel use a memória mínima. É possível definir heap máximo por meio da sinalização de inicialização --host_jvm_args, como --host_jvm_args=-Xmx2g.

Negocie velocidades de build incrementais por memória

Se os builds forem muito grandes, o Bazel poderá gerar uma OutOfMemoryError (OOM) quando não há memória suficiente. É possível fazer com que o Bazel use menos memória de builds incrementais mais lentos passando as seguintes flags de comando: --discard_analysis_cache, --nokeep_state_after_build, e --notrack_incremental_state.

Essas flags minimizarão a memória que o Bazel usa em um build, ao custo de tornando futuros builds mais lentos do que um build incremental padrão.

Também é possível transmitir qualquer uma dessas sinalizações individualmente:

  • --discard_analysis_cache reduz a memória usada durante a execução análise). Builds incrementais não vão precisar refazer o carregamento de pacotes, mas refazer a análise e a execução (embora o cache de ação no disco possa impedir a maior parte da reexecução).
  • --notrack_incremental_state não vai armazenar nenhuma borda na memória interna gráfico de dependências, de modo que ele não possa ser usado em builds incrementais. O próximo build vai descartar esses dados, mas eles serão preservados até lá para depuração interna, a menos que --nokeep_state_after_build seja especificado.
  • --nokeep_state_after_build descartará todos os dados após o build para que builds incrementais precisam ser criados do zero (exceto para a ação em disco) cache). Por si só, isso não afeta a marca marcante do build atual.

Troque a flexibilidade de build por memória com o Skyfocus (experimental)

Se você quiser que o Bazel use menos memória e mantenha velocidades de build incrementais, pode informar ao Bazel o conjunto de trabalho de arquivos que você modificará. O Bazel só mantém o estado necessário para recriar as mudanças de forma incremental. esses arquivos. Esse recurso é chamado de Skyfocus.

Para usar o Skyfocus, transmita a flag --experimental_enable_skyfocus:

bazel build //pkg:target --experimental_enable_skyfocus

Por padrão, o conjunto de trabalho será o conjunto de arquivos próximo ao alvo construído. No exemplo, todos os arquivos em //pkg serão mantidos no conjunto de trabalho e as alterações em arquivos fora do conjunto de trabalho não serão permitidas até que você emita bazel clean ou reinicie o servidor do Bazel.

Para especificar um conjunto exato de arquivos ou diretórios, use o --experimental_working_set, da seguinte maneira:

bazel build //pkg:target --experimental_enable_skyfocus
--experimental_working_set=path/to/another/dir,path/to/tests/dir

Você também pode transmitir --experimental_skyfocus_dump_post_gc_stats para mostrar de redução de memória:

Colocando todos os dados, você deve ver algo assim:

$ bazel test //pkg:target //tests/... --experimental_enable_skyfocus --experimental_working_set dir1,dir2,dir3/subdir --experimental_skyfocus_dump_post_gc_stats
INFO: --experimental_enable_skyfocus is enabled. Blaze will reclaim memory not needed to build the working set. Run 'blaze dump --skyframe=working_set' to show the working set, after this command.
WARNING: Changes outside of the working set will cause a build error.
INFO: Analyzed 149 targets (4533 packages loaded, 169438 targets configured).
INFO: Found 25 targets and 124 test targets...
INFO: Updated working set successfully.
INFO: Focusing on 334 roots, 3 leafs... (use --experimental_skyfocus_dump_keys to show them)
INFO: Heap: 1237MB -> 676MB (-45.31%)
INFO: Elapsed time: 192.670s ...
INFO: Build completed successfully, 62303 total actions

Neste exemplo, o uso do Skyfocus permitiu que o Bazel descarregasse 561 MB (45%) de memória. e incrementais para processar mudanças em arquivos em dir1, dir2 e O dir3/subdir vai manter a velocidade, mas o Bazel não vai poder e recompilar arquivos alterados fora desses diretórios.

Criação de perfil de memória

O Bazel vem com um perfilador de memória integrado que pode ajudar a verificar o uso de memória da sua regra. Leia mais sobre esse processo na Seção de criação de perfil de memória do nosso documentação sobre como melhorar o desempenho de regras personalizadas.