JSON 追蹤記錄設定檔

JSON 追蹤設定檔非常實用,可快速瞭解 Bazel 在叫用期間耗費的時間。

根據預設,對於所有類似建構的指令和查詢,Bazel 會將設定檔寫入名為 command-$INVOCATION_ID.profile.gz 的輸出基礎,其中 $INVOCATION_ID 是指令的叫用 ID。Bazel 也會在輸出基準中建立名為 command.profile.gz 的符號連結,指向最新指令的設定檔。您可以使用 --generate_json_trace_profile 旗標設定是否要寫入設定檔,並使用 --profile 旗標設定寫入位置。結尾為 .gz 的位置會以 GZIP 壓縮。Bazel 會保留最後 5 個設定檔 (可透過 --profiles_to_retain 設定),預設位於輸出基準中,供建構後分析使用。明確傳遞設定檔路徑 (使用 --profile) 會停用自動垃圾收集功能。

工具

您可以將這個設定檔載入 chrome://tracing,或使用其他工具分析及後續處理。

chrome://tracing

如要顯示設定檔,請在 Chrome 瀏覽器分頁中開啟 chrome://tracing,然後按一下「載入」並選取設定檔 (可能已壓縮)。如要查看更詳細的結果,請按一下左下角的方塊。

範例設定檔:

範例設定檔

圖 1. 範例設定檔。

你可以使用下列鍵盤控制項進行瀏覽:

  • 按下 1 進入「選取」模式。在這個模式下,您可以選取特定方塊,檢查事件詳細資料 (請參閱左下角)。選取多個活動,即可查看摘要和匯總統計資料。
  • 按下 2 進入「平移」模式。接著拖曳滑鼠即可移動檢視畫面。你也可以使用 a/d 鍵向左/右移動。
  • 按下 3 進入「縮放」模式。然後拖曳滑鼠即可縮放。你也可以使用 w/s 放大/縮小。
  • 按下 4 進入「計時」模式,即可測量兩個事件之間的距離。
  • 按下 ? 即可瞭解所有控制項。

Bazel 叫用分析器

開放原始碼的 Bazel Invocation Analyzer 會使用設定檔格式,並列印改善建構效能的建議。您可以使用 CLI 或在 https://analyzer.engflow.com 執行這項分析。

jq

jq 類似於 JSON 資料的 sed。以下是 jq 的使用範例,可擷取本機動作執行期間沙箱建立步驟的所有時間長度:

$ zcat $(../bazel-6.0.0rc1-linux-x86_64 info output_base)/command.profile.gz | jq '.traceEvents | .[] | select(.name == "sandbox.createFileSystem") | .dur'
6378
7247
11850
13756
6555
7445
8487
15520
[...]

個人資訊

設定檔包含多個資料列。通常大部分的資料列代表 Bazel 執行緒及其對應事件,但也會包含一些特殊資料列。

內含的特殊資料列取決於建立設定檔時叫用的 Bazel 版本,且可透過不同標記自訂。

圖 1 顯示使用 Bazel v5.3.1 建立的設定檔,包含下列資料列:

  • action count:顯示正在進行的並行動作數量。按一下即可查看實際值。在乾淨的建構作業中,應會達到 --jobs 的值。
  • CPU usage (Bazel):顯示 Bazel 在建構期間每秒使用的 CPU 數量 (值為 1 等於一個核心 100% 忙碌)。
  • Critical Path:顯示每個重要路徑動作的方塊。
  • Main Thread:Bazel 的主要執行緒。有助於瞭解 Bazel 的運作方式,例如「啟動 Blaze」、「評估 TargetPatterns」和「執行分析階段」。
  • Garbage Collector:顯示次要和主要垃圾收集 (GC) 暫停。

常見效能問題

分析效能設定檔時,請注意下列事項:

  • 分析階段 (runAnalysisPhase) 比預期慢,尤其是增量建構。這可能表示規則實作不佳,例如將依附元件集扁平化。如果目標數量過多、巨集複雜或全域模式遞迴,套件載入速度可能會很慢。
  • 個別緩慢的動作,尤其是重要路徑上的動作。您可以將大型動作拆分成多個較小的動作,或減少 (遞移) 依附元件的集合,以加快動作速度。此外,也請檢查是否有異常高的非 PROCESS_TIME 值 (例如 REMOTE_SETUPFETCH)。
  • 瓶頸,也就是少數執行緒正忙碌,而其他執行緒都處於閒置狀態 / 等待結果 (請參閱圖 1 中約 22 秒和 29 秒處)。如要進行最佳化,您可能需要觸及規則實作或 Bazel 本身,以導入更多平行處理。如果發生異常大量的垃圾收集事件,也可能導致這種情況。

設定檔格式

頂層物件包含中繼資料 (otherData) 和實際追蹤資料 (traceEvents)。中繼資料包含額外資訊,例如叫用 ID 和 Bazel 叫用日期。

範例:

{
  "otherData": {
    "build_id": "101bff9a-7243-4c1a-8503-9dc6ae4c3b05",
    "date": "Wed Oct 26 08:22:35 CEST 2022",
    "profile_finish_ts": "1677666095162000",
    "output_base": "/usr/local/google/_bazel_johndoe/573d4be77eaa72b91a3dfaa497bf8cd0"
  },
  "traceEvents": [
    {"name":"thread_name","ph":"M","pid":1,"tid":0,"args":{"name":"Critical Path"}},
    ...
    {"cat":"build phase marker","name":"Launch Blaze","ph":"X","ts":-1306000,"dur":1306000,"pid":1,"tid":21},
    ...
    {"cat":"package creation","name":"foo","ph":"X","ts":2685358,"dur":784,"pid":1,"tid":246},
    ...
    {"name":"thread_name","ph":"M","pid":1,"tid":11,"args":{"name":"Garbage Collector"}},
    {"cat":"gc notification","name":"minor GC","ph":"X","ts":825986,"dur":11000,"pid":1,"tid":11},
    ...
    {"cat":"action processing","name":"Compiling foo/bar.c","ph":"X","ts":54413389,"dur":357594,"pid":1,"args":{"mnemonic":"CppCompile"},"tid":341},
 ]
}

追蹤事件中的時間戳記 (ts) 和時間長度 (dur) 皆以微秒為單位。類別 (cat) 是 ProfilerTask 的其中一個列舉值。 請注意,如果某些事件很短且彼此接近,系統會將這些事件合併;如要避免合併事件,請傳遞 --noslim_profile

另請參閱「Chrome 追蹤事件格式規格」。