JSON izleme profili, Bazel'in çağrı sırasında ne kadar zaman harcadığını hızlıca anlamak için çok yararlı olabilir.
Bazel, derleme benzeri tüm komutlar ve sorgular için varsayılan olarak command.profile.gz dosyasına bu tür bir profil yazar. Bir profilin yazılıp yazılmayacağını --generate_json_trace_profile işaretiyle, yazılacağı konumu ise --profile işaretiyle yapılandırabilirsiniz. .gz ile biten konumlar GZIP ile sıkıştırılır. Bu dosyanın yolunu günlüke yazdırmak için --experimental_announce_profile_path işaretini kullanın.
Araçlar
Bu profili chrome://tracing'e yükleyebilir veya diğer araçlarla analiz edip son işleme tabi tutabilirsiniz.
chrome://tracing
Profili görselleştirmek için Chrome tarayıcı sekmesinde chrome://tracing'ü açın, "Yükle"yi tıklayın ve (sıkıştırılmış olabilecek) profil dosyasını seçin. Daha ayrıntılı sonuçlar için sol alt köşedeki kutuları tıklayın.
Örnek profil:
Şekil 1. Örnek profil.
Gezinmek için şu klavye denetimlerini kullanabilirsiniz:
- "Seç" modu için
1tuşuna basın. Bu modda, etkinlik ayrıntılarını incelemek için belirli kutuları seçebilirsiniz (sol alt köşeye bakın). Özet ve toplu istatistikler almak için birden fazla etkinlik seçin. - "Kaydırma" modu için
2tuşuna basın. Ardından, görünümü taşımak için fareyi sürükleyin. Sol/sağ gitmek içina/dtuşlarını da kullanabilirsiniz. - "Yakınlaştırma" modu için
3tuşuna basın. Ardından, yakınlaştırmak için fareyi sürükleyin. Yakınlaştırmak/uzaklaştırmak içinw/stuşlarını da kullanabilirsiniz. - İki etkinlik arasındaki mesafeyi ölçebileceğiniz "zamanlama" modu için
4tuşuna basın. - Tüm kontroller hakkında bilgi edinmek için
?düğmesine basın.
bazel analyze-profile
Bazel alt komutu analyze-profile, bir profil biçimini kullanır ve her derleme aşaması için farklı görev türleriyle ilgili kümülatif istatistikleri ve kritik yolun analizini yazdırır.
Örneğin,
$ bazel build --profile=/tmp/profile.gz //path/to:target
...
$ bazel analyze-profile /tmp/profile.gz
şu şekilde bir çıkış verebilir:
INFO: Profile created on Tue Jun 16 08:59:40 CEST 2020, build ID: 0589419c-738b-4676-a374-18f7bbc7ac23, output base: /home/johndoe/.cache/bazel/_bazel_johndoe/d8eb7a85967b22409442664d380222c0
=== PHASE SUMMARY INFORMATION ===
Total launch phase time 1.070 s 12.95%
Total init phase time 0.299 s 3.62%
Total loading phase time 0.878 s 10.64%
Total analysis phase time 1.319 s 15.98%
Total preparation phase time 0.047 s 0.57%
Total execution phase time 4.629 s 56.05%
Total finish phase time 0.014 s 0.18%
------------------------------------------------
Total run time 8.260 s 100.00%
Critical path (4.245 s):
Time Percentage Description
8.85 ms 0.21% _Ccompiler_Udeps for @local_config_cc// compiler_deps
3.839 s 90.44% action 'Compiling external/com_google_protobuf/src/google/protobuf/compiler/php/php_generator.cc [for host]'
270 ms 6.36% action 'Linking external/com_google_protobuf/protoc [for host]'
0.25 ms 0.01% runfiles for @com_google_protobuf// protoc
126 ms 2.97% action 'ProtoCompile external/com_google_protobuf/python/google/protobuf/compiler/plugin_pb2.py'
0.96 ms 0.02% runfiles for //tools/aquery_differ aquery_differ
Bazel Çağrı Analiz Aracı
Açık kaynak Bazel Invocation Analyzer, bir profil biçimini kullanır ve derlemenin performansını nasıl iyileştireceğinizle ilgili öneriler yazdırır. Bu analiz, KSA'sı kullanılarak veya https://analyzer.engflow.com adresinde gerçekleştirilebilir.
jq
jq, JSON verileri için sed gibidir. Yerel işlem yürütme sırasında korumalı alan oluşturma adımının tüm sürelerini ayıklamak için jq işlevinin örnek kullanımı:
$ zcat $(../bazel-6.0.0rc1-linux-x86_64 info output_base)/command.profile.gz | jq '.traceEvents | .[] | select(.name == "sandbox.createFileSystem") | .dur'
6378
7247
11850
13756
6555
7445
8487
15520
[...]
Profil bilgileri
Profil birden fazla satır içeriyor. Genellikle satırların büyük kısmı Bazel iş parçacıklarını ve bunlara karşılık gelen etkinlikleri temsil eder ancak bazı özel satırlar da dahil edilir.
Dahil edilen özel satırlar, profil oluşturulurken çağrılan Bazel sürümüne bağlıdır ve farklı işaretler tarafından özelleştirilebilir.
Şekil 1'de, Bazel v5.3.1 ile oluşturulan ve aşağıdaki satırları içeren bir profil gösterilmektedir:
action count: Eşzamanlı olarak kaç işlem yapıldığını gösterir. Gerçek değeri görmek için tıklayın. Temiz derlemelerde--jobsdeğerine kadar çıkmalıdır.CPU usage (Bazel): Derlemenin her saniyesinde Bazel tarafından kullanılan CPU miktarını gösterir (1 değeri, bir çekirdeğin% 100 meşgul olduğu anlamına gelir).Critical Path: Kritik yoldaki her işlem için bir blok gösterir.Main Thread: Bazel'in ana ileti dizisi. Bazel'in ne yaptığının üst düzey bir resmini (ör. "Blaze'i başlat", "evaluateTargetPatterns" ve "runAnalysisPhase") elde etmek için kullanışlıdır.Garbage Collector: Küçük ve büyük Çöp Toplama (GC) duraklamaları gösterilir.
Sık karşılaşılan performans sorunları
Performans profillerini analiz ederken şunları arayın:
- Özellikle artımlı derlemelerde analiz aşaması (
runAnalysisPhase) beklenenden daha yavaştır. Bu durum, kuralın kötü bir şekilde uygulandığının göstergesi olabilir (ör. depo setlerini düzleştiren bir kural). Paket yükleme işlemi, çok fazla hedef, karmaşık makrolar veya yinelenen glob'ler nedeniyle yavaş olabilir. - Özellikle kritik yoldaki yavaş işlemler. Büyük işlemleri hızlandırmak için birden fazla küçük işleme bölmek veya (geçişli) bağımlılık grubunu azaltmak mümkün olabilir. Ayrıca,
PROCESS_TIMEolmayan ve anormal derecede yüksek bir değer (REMOTE_SETUPveyaFETCHgibi) olup olmadığını kontrol edin. - Darboğazlar: Diğer tüm iş parçacıları boştayken / sonucu beklerken az sayıda iş parçacığı meşgul olur (Şekil 1'de 22. saniye ve 29. saniyeye bakın). Bu durumu optimize etmek için büyük olasılıkla daha fazla paralellik sağlamak amacıyla kural uygulamalarında veya Bazel'de değişiklik yapmanız gerekir. Bu durum, olağan dışı miktarda GC olduğunda da ortaya çıkabilir.
Profil dosya biçimi
En üst düzey nesne, meta verileri (otherData) ve gerçek izleme verilerini (traceEvents) içerir. Meta veriler, Bazel çağrısının çağrı kimliği ve tarihi gibi ek bilgiler içerir.
Örnek:
{
"otherData": {
"build_id": "101bff9a-7243-4c1a-8503-9dc6ae4c3b05",
"date": "Wed Oct 26 08:22:35 CEST 2022",
"profile_finish_ts": "1677666095162000",
"output_base": "/usr/local/google/_bazel_johndoe/573d4be77eaa72b91a3dfaa497bf8cd0"
},
"traceEvents": [
{"name":"thread_name","ph":"M","pid":1,"tid":0,"args":{"name":"Critical Path"}},
...
{"cat":"build phase marker","name":"Launch Blaze","ph":"X","ts":-1306000,"dur":1306000,"pid":1,"tid":21},
...
{"cat":"package creation","name":"foo","ph":"X","ts":2685358,"dur":784,"pid":1,"tid":246},
...
{"name":"thread_name","ph":"M","pid":1,"tid":11,"args":{"name":"Garbage Collector"}},
{"cat":"gc notification","name":"minor GC","ph":"X","ts":825986,"dur":11000,"pid":1,"tid":11},
...
{"cat":"action processing","name":"Compiling foo/bar.c","ph":"X","ts":54413389,"dur":357594,"pid":1,"args":{"mnemonic":"CppCompile"},"tid":341},
]
}
İzleme etkinliklerindeki zaman damgalarının (ts) ve sürelerin (dur) birimi mikrosaniyedir. Kategori (cat), ProfilerTask değerinin enum değerlerinden biridir.
Çok kısa ve birbirine yakın olan bazı etkinliklerin birleştirildiğini unutmayın. Etkinliklerin birleştirilmesini engellemek istiyorsanız --noslim_json_profile parametresini iletin.
Ayrıca Chrome İzleme Etkinlik Biçimi Spesifikasyonu'na da bakın.