Uzaktan Yürütme İçin Uzak Önbellek İsabetlerinde Hata Ayıklama

Sorun bildir Kaynağı görüntüleyin Nightly · 7.4 . 7.3 · 7.2 · 7.1 · 7.0 · 6.5

Bu sayfada, önbellek isabet oranınızı nasıl kontrol edeceğiniz ve uzaktan yürütme bağlamında önbellek isabetlerini nasıl araştıracağınız açıklanmaktadır.

Bu sayfada, uzaktan yürütmeyi başarılı bir şekilde kullanan bir derleme ve/veya teste sahip olduğunuz ve uzak önbelleği etkili bir şekilde kullandığınızdan emin olmak istediğiniz varsayılmaktadır.

Önbelleğe isabet oranınızı kontrol etme

Bazel çalıştırmanızın standart çıkışında, kabaca Bazel işlemlerine karşılık gelen işlemleri listeleyen INFO satırına bakın. Bu satır, işlemin nerede çalıştırıldığını belirtir. Uzaktan yürütülen bir işlemi belirten remote etiketini, yerel korumalı alanda yürütülen işlemler için linux-sandbox etiketini ve diğer yürütme stratejileri için diğer değerleri bulun. Sonucu uzak bir önbellekten gelen bir işlem remote cache hit olarak gösterilir.

Örneğin:

INFO: 11 processes: 6 remote cache hit, 3 internal, 2 remote.

Bu örnekte 6 uzak önbellek isabeti gerçekleşmiş, 2 işlem önbellek isabeti içermeyen ve uzaktan yürütülmüştür. 3 iç parça yoksayılabilir. Bu genellikle sembolik bağlantı oluşturma gibi küçük dahili işlemlerdir. Yerel önbellek isabet sayısı bu özete dahil edilmemiştir. İşlem sayısı 0 (veya beklenenden düşük bir sayı) alıyorsanız bazel clean komutunu ve ardından derleme/test komutunuzu çalıştırın.

Önbellek isabetleriyle ilgili sorunları giderme

Beklediğiniz önbellek isabet oranını alamıyorsanız aşağıdakileri yapın:

Aynı derleme/test komutunun yeniden çalıştırıldığında önbelleğe isabet oluşturduğundan emin olun

  1. Önbelleği doldurmasını beklediğiniz derlemeleri ve/veya testleri çalıştırın. Belirli bir yığınta yeni bir derleme ilk kez çalıştırıldığında uzak önbelleğe isabet olmaz. Uzaktan yürütme kapsamında işlem sonuçları önbelleğe depolanır ve sonraki bir çalıştırma işleminde bu sonuçlar alınır.

  2. bazel clean çalıştır. Bu komut, yerel önbelleğinizi temizler. Böylece, sonuçlar yerel önbellek isabetleri tarafından maskelenmeden uzak önbellek isabetlerini inceleyebilirsiniz.

  3. İncelediğiniz derlemeleri ve testleri tekrar çalıştırın (aynı makinede).

  4. Önbellek isabet oranı için INFO satırını kontrol edin. remote cache hit ve internal dışında işlem görmüyorsanız önbelleğiniz doğru şekilde dolduruluyor ve ona doğru şekilde erişiliyor demektir. Bu durumda, sonraki bölüme geçin.

  5. Tutarsızlıkların olası bir nedeni, derlemede hermetik olmayan bir şeyin, işlemlerin iki çalıştırma boyunca farklı işlem anahtarları almasına neden olmasıdır. Bu işlemleri bulmak için aşağıdakileri yapın:

    a. Yürütme günlüklerini almak için söz konusu derlemeleri veya testleri yeniden çalıştırın:

      bazel clean
  bazel --optional-flags build //your:target --execution_log_compact_file=/tmp/exec1.log

    b. İki çalıştırma arasındaki yürütme günlüklerini karşılaştırın. İşlemlerin iki günlük dosyasında da aynı olduğundan emin olun. Tutarsızlıklar, çalıştırmalar arasında gerçekleşen değişiklikler hakkında ipucu verir. Bu tutarsızlıkları ortadan kaldırmak için derlemenizi güncelleyin.

    Önbelleğe alma sorunlarını çözebilirseniz ve tekrarlanan çalıştırma artık tüm önbelleğe alma isabetlerini oluşturuyorsa bir sonraki bölüme geçin.

    İşlem kimlikleriniz aynıysa ancak önbelleğe alma isabeti yoksa yapılandırmanızda önbelleğe almayı engelleyen bir şey vardır. Sık karşılaşılan sorunları kontrol etmek için bu bölüme devam edin.

  6. Yürütme günlüğündeki tüm işlemlerde cacheable öğesinin doğru değerine ayarlandığından emin olun. cacheable, belirli bir işlemin yürütme günlüğünde görünmüyorsa ilgili kuralın BUILD dosyasındaki tanımında no-cache etiketi olabilir. İşlemin nereden geldiğini belirlemek için yürütme günlüğündeki mnemonic ve target_label alanlarına bakın.

  7. İşlemler aynıysa ve cacheable ise ancak önbelleğe isabet yoksa komut satırınızda --noremote_accept_cached olabilir. Bu durumda, derleme için önbelleğe aramalar devre dışı bırakılır.

    Gerçek komut satırını bulmak zorsa Build Event Protocol'daki standart komut satırını aşağıdaki gibi kullanın:

    a. Günlüğün metin sürümünü almak için Bazel komutunuza --build_event_text_file=/tmp/bep.txt ekleyin.

    b. Günlüğün metin sürümünü açın ve command_line_label: "canonical" içeren structured_command_line mesajını arayın. Genişletmeden sonra sunulan tüm seçenekler listelenir.

    c. remote_accept_cached araması yapın ve false olarak ayarlanıp ayarlanmadığını kontrol edin.

    d. remote_accept_cached false ise false olarak nerede ayarlandığını belirleyin: komut satırında veya bir bazelrc dosyasında.

Makineler arasında önbelleğe alma işleminin yapıldığından emin olun

Aynı makinede önbelleğe isabetler beklendiği gibi gerçekleşmeye başladıktan sonra aynı derlemeleri/testleri farklı bir makinede çalıştırın. Makinelerde önbelleğe alma işleminin yapılmadığından şüpheleniyorsanız aşağıdakileri yapın:

  1. Mevcut önbellekleri kullanmamak için derlemenizde küçük bir değişiklik yapın.

  2. Derlemeyi ilk makinede çalıştırın:

     bazel clean
 bazel ... build ... --execution_log_compact_file=/tmp/exec1.log

  3. 1. adımdaki değişikliğin dahil edildiğinden emin olarak derlemeyi ikinci makinede çalıştırın:

     bazel clean
 bazel ... build ... --execution_log_compact_file=/tmp/exec2.log

  4. İki çalıştırmanın yürütme günlüklerini karşılaştırın. Günlükler aynı değilse derleme yapılandırmalarınızı, tutarsızlıklar ve barındırma ortamındaki mülklerin derlemelerden birine sızması açısından inceleyin.

Yürütme günlüklerini karşılaştırma

Yürütme günlüğü, derleme sırasında gerçekleştirilen işlemlerin kayıtlarını içerir. Her kayıt, hem girişleri (yalnızca dosyalar değil, komut satırı bağımsız değişkenleri, ortam değişkenleri vb.) hem de işlemin çıkışlarını açıklar. Bu nedenle, günlüğün incelenmesi bir işlemin neden yeniden yürütüldüğünü ortaya çıkarabilir.

Yürütme günlüğü üç biçimden birinde oluşturulabilir: sıkıştırılmış (--execution_log_compact_file), ikili (--execution_log_binary_file) veya JSON (--execution_log_json_file). Çok az çalışma zamanı yükü olan çok daha küçük dosyalar oluşturduğundan sıkıştırılmış biçim önerilir. Aşağıdaki talimatlar tüm biçimler için geçerlidir. //src/tools/execlog:converter aracını kullanarak da bunları dönüştürebilirsiniz.

Önbelleğe alınan isabetleri beklendiği gibi paylaşmayan iki derlemenin günlüklerini karşılaştırmak için aşağıdakileri yapın:

  1. Her derlemeden yürütme günlüklerini alın ve bunları /tmp/exec1.log ve /tmp/exec2.log olarak depolayın.

  2. Bazel kaynak kodunu indirip //src/tools/execlog:parser aracını derleyin:

    git clone https://github.com/bazelbuild/bazel.git cd bazel bazel build //src/tools/execlog:parser

  3. Günlükleri, kullanıcı tarafından okunabilir bir metin biçimine dönüştürmek için //src/tools/execlog:parser aracını kullanın. Bu biçimde, ikinci günlükteki işlemler ilk günlükteki sıraya göre sıralanır. Bu sayede karşılaştırma daha kolay olur.

    bazel-bin/src/tools/execlog/parser \
  --log_path=/tmp/exec1.log \
  --log_path=/tmp/exec2.log \
  --output_path=/tmp/exec1.log.txt \
  --output_path=/tmp/exec2.log.txt

  4. Farklılaştırma için /tmp/exec1.log.txt ve /tmp/exec2.log.txt ile favori metninizi kullanın.