リモート実行のためのリモートキャッシュヒットのデバッグ

<ph type="x-smartling-placeholder"></ph> 問題を報告する <ph type="x-smartling-placeholder"></ph> ソースを表示夜間 · 7.3 · 7.2 · 7.1 · 7.0 · 6.5

このページでは、キャッシュヒット率を確認する方法と、リモート実行のコンテキストでキャッシュミスを調査する方法について説明します。

このページでは、リモート実行を正常に利用しているビルドまたはテストがあり、リモートキャッシュを効果的に利用していることを確認することを前提としています。

キャッシュヒット率を確認する

Bazel 実行の標準出力で、プロセスを一覧表示する INFO 行を探します。これは、おおまかに Bazel アクションに対応しています。この行の詳細がアクションを実行した場所ですアクションを示す remote ラベルを探します。リモート実行、linux-sandbox: ローカルサンドボックスで実行されたアクション、その他の実行戦略の値などです。結果が表示されたアクションリモートキャッシュに保存されたデータは remote cache hit と表示されます。

例:

INFO: 11 processes: 6 remote cache hit, 3 internal, 2 remote.

この例では、リモートキャッシュヒットが 6 回あり、2 つのアクションはキャッシュヒットがなく、リモートで実行されました。この 3 つの内部部分は無視してかまいません。通常は、シンボリックリンクの作成などの小さな内部アクションです。ローカルキャッシュヒットはこの概要には含まれません。プロセスが 0 個（または想定よりも少ない数）の場合は、bazel clean の後にビルド / テストコマンドを実行します。

キャッシュヒットのトラブルシューティング

期待するキャッシュヒット率が得られない場合は、次の操作を行います。

同じビルド/テストコマンドを再実行するとキャッシュヒットが発生することを確認する

キャッシュにデータを入力する予定のビルドやテストを実行します。「特定のスタックで新しいビルドを初めて実行する際、リモートビルドはキャッシュヒットを除外できますリモート実行の一環として、アクションの結果はキャッシュに保存され、以降の実行で取得されます。
bazel clean を実行します。このコマンドを実行すると、ローカルキャッシュが消去されます。これにより、ローカルキャッシュヒットによって結果がマスクされることなく、リモートキャッシュヒットを調査できます。
調査しているビルドとテストを（同じマシンで）再度実行します。
INFO 行でキャッシュヒット率を確認します。remote cache hit と internal 以外のプロセスが表示されない場合、キャッシュは正しく入力され、アクセスされています。その場合は、次のセクションに進みます。
不一致の原因としては、ビルドが密閉型でないことが原因の可能性があります。 2 つの実行で異なるアクションキーを受け取るアクションを指定できます。これらのアクションを確認する手順は次のとおりです。

a. 問題のビルドまたはテストを再度実行して、実行ログを取得します。
```
  bazel clean
  bazel --optional-flags build //your:target --execution_log_compact_file=/tmp/exec1.log
```
b. 次の VM の実行ログを比較します。 2 回実行します。2 つのログファイルでアクションが同じであることを確認します。不一致は、期間に発生した変化についての手がかりとなります。実行されますビルドを更新して、これらの不一致を解消します。

キャッシュの問題を解決でき、繰り返し実行された場合、すべてのキャッシュヒットが生成されたら、次のセクションに進みます。

アクション ID が同一でもキャッシュヒットがない場合、キャッシュが妨げられていますこのセクションに進んで、一般的な問題を確認します。
実行ログ内のすべてのアクションで cacheable が true に設定されていることを確認します。条件 cacheable が、特定のアクションの実行ログに表示されない。対応するルールのタグ名に no-cache タグが含まれている可能性があります。 BUILD ファイル内で定義しています。実行ログの mnemonic フィールドと target_label フィールドを確認して、アクションの発生元を特定します。
アクションが同じで cacheable なのにキャッシュヒットがない場合は、ビルドのキャッシュ検索を無効にする --noremote_accept_cached がコマンドラインに含まれている可能性があります。

実際のコマンドラインを把握するのが難しい場合は、Build Event Protocol の正規のコマンドラインを使用します。

a. ログのテキストバージョンを取得するには、--build_event_text_file=/tmp/bep.txtを Bazel コマンドに追加します。

b. ログのテキストバージョンを開き、command_line_label: "canonical" を含む structured_command_line メッセージを検索します。展開するとすべてのオプションが表示されます。

c. remote_accept_cached を検索して、false に設定されているかどうかを確認します。

d. remote_accept_cached が false の場合は、コマンドラインまたは bazelrc ファイルのどちらで false に設定されているかを確認します。

マシン間でのキャッシュを確実に行う

同じマシンでキャッシュヒットが想定どおりに発生したら、別のマシンで同じビルドまたはテストを実行します。マシン間でキャッシュに保存されていないと思われる場合は、次の操作を行います。

既存のキャッシュにヒットしないように、ビルドに小さな変更を加えます。

最初のマシンでビルドを実行します。

 bazel clean
 bazel ... build ... --execution_log_compact_file=/tmp/exec1.log

2 台目のマシンでビルドを実行し、ステップ 1 での変更を確認します。含まれます。
```
 bazel clean
 bazel ... build ... --execution_log_compact_file=/tmp/exec2.log
```
2 つの実行ログを比較する実行されますログが同一でない場合は、ビルド構成を調査します。ホスト環境からのプロパティやデータのリークテストします

実行ログの比較

実行ログには、ビルド中に実行されたアクションの記録が含まれます。各レコードは、アクションの入力（ファイルだけでなく、コマンドライン引数、環境変数など）と出力の両方を記述します。したがって、次のようになります。ログを調べると、アクションが再実行された理由がわかります。

実行ログは、コンパクト（--execution_log_compact_file）、バイナリ（--execution_log_binary_file）、JSON（--execution_log_json_file）の 3 つの形式のいずれかで生成できます。コンパクト形式は、実行時のオーバーヘッドが非常に小さく、ファイルサイズが大幅に小さくなるため、推奨されます。以下の手順は、どの形式でも機能します。マイページ //src/tools/execlog:converter ツールを使用して変換することもできます。

想定どおりにキャッシュヒットを共有していない 2 つのビルドのログを比較するには、次の操作を行います。

各ビルドから実行ログを取得し、/tmp/exec1.log として保存します。 /tmp/exec2.log。
Bazel ソースコードをダウンロードして、//src/tools/execlog:parser ツールをビルドします。

git clone https://github.com/bazelbuild/bazel.git cd bazel bazel build //src/tools/execlog:parser
//src/tools/execlog:parser ツールを使用して、ログを人間が読めるテキスト形式に変換します。この形式では、2 番目のログ内のアクションが 1 番目のログ内の順序と一致するように並べ替えられるため、比較が容易になります。
```
bazel-bin/src/tools/execlog/parser \
  --log_path=/tmp/exec1.log \
  --log_path=/tmp/exec2.log \
  --output_path=/tmp/exec1.log.txt \
  --output_path=/tmp/exec2.log.txt
```
好きなテキストを使って、/tmp/exec1.log.txt と /tmp/exec2.log.txt。

リモート実行のためのリモート キャッシュ ヒットのデバッグ

キャッシュ ヒット率を確認する