Eksekusi Dinamis

Eksekusi dinamis adalah fitur di Bazel sejak versi 0.21, dengan eksekusi lokal dan jarak jauh tindakan yang sama dimulai secara paralel, menggunakan output dari cabang pertama yang selesai, sehingga membatalkan cabang lainnya. Library ini menggabungkan daya eksekusi dan/atau cache bersama yang besar dari sistem build jarak jauh dengan latensi rendah untuk eksekusi lokal, sehingga memberikan kemampuan terbaik dari kedua sisi untuk membangun bersih dan inkremental.

Halaman ini menjelaskan cara mengaktifkan, menyesuaikan, dan men-debug eksekusi dinamis. Jika Anda telah menyiapkan eksekusi lokal dan jarak jauh, serta mencoba menyesuaikan setelan Bazel untuk mendapatkan performa yang lebih baik, halaman ini cocok untuk Anda. Jika Anda belum menyiapkan eksekusi jarak jauh, buka Remote Execution Overview Bazel terlebih dahulu.

Aktifkan eksekusi dinamis?

Modul eksekusi dinamis adalah bagian dari Bazel, tetapi untuk menggunakan eksekusi dinamis, Anda harus sudah dapat mengompilasi baik secara lokal maupun jarak jauh dari penyiapan Bazel yang sama.

Untuk mengaktifkan modul eksekusi dinamis, teruskan tanda --internal_spawn_scheduler ke Bazel. Tindakan ini menambahkan strategi eksekusi baru yang disebut dynamic. Sekarang Anda dapat menggunakan ini sebagai strategi untuk mnemonik yang ingin dijalankan secara dinamis, seperti --strategy=Javac=dynamic. Lihat bagian berikutnya untuk mengetahui cara memilih mnemonik yang akan diaktifkan untuk eksekusi dinamis.

Untuk semua mnemonik yang menggunakan strategi dinamis, strategi eksekusi jarak jauh diambil dari flag --dynamic_remote_strategy, dan strategi lokal dari flag --dynamic_local_strategy. Meneruskan --dynamic_local_strategy=worker,sandboxed akan menetapkan setelan default untuk cabang lokal eksekusi dinamis yang akan dicoba dengan pekerja atau eksekusi dalam sandbox sesuai urutan tersebut. Meneruskan --dynamic_local_strategy=Javac=worker akan menggantikan default untuk mnemonic Javac saja. Versi jarak jauh berfungsi dengan cara yang sama. Kedua flag dapat ditentukan beberapa kali. Jika suatu tindakan tidak dapat dieksekusi secara lokal, tindakan tersebut akan dijalankan dari jarak jauh seperti biasa, begitu pula sebaliknya.

Jika sistem jarak jauh Anda memiliki cache, tanda --local_execution_delay akan menambahkan penundaan dalam milidetik ke eksekusi lokal setelah sistem jarak jauh menunjukkan adanya cache. Hal ini akan menghindari eksekusi lokal ketika lebih banyak cache ditemukan. Nilai defaultnya adalah 1.000 md, tetapi harus disesuaikan agar sedikit lebih lama dari biasanya ditemukan cache. Waktu sebenarnya bergantung pada sistem jarak jauh dan berapa lama waktu yang dibutuhkan untuk bolak-balik. Biasanya, nilainya akan sama untuk semua pengguna sistem jarak jauh tertentu, kecuali jika beberapa dari mereka cukup jauh untuk menambahkan latensi bolak-balik. Anda dapat menggunakan fitur pembuatan profil Bazel untuk melihat berapa lama waktu yang diperlukan untuk cache ditemukan.

Eksekusi dinamis dapat digunakan dengan strategi sandbox lokal serta dengan pekerja persisten. Pekerja persisten akan otomatis berjalan dengan sandbox saat digunakan dengan eksekusi dinamis, dan tidak dapat menggunakan pekerja multiplex. Pada sistem Darwin dan Windows, strategi sandbox mungkin lambat; Anda dapat meneruskan --reuse_sandbox_directories untuk mengurangi beban pembuatan sandbox pada sistem ini.

Eksekusi dinamis juga dapat dijalankan dengan strategi standalone, meskipun strategi standalone harus mengambil kunci output saat mulai dijalankan, strategi ini secara efektif memblokir strategi jarak jauh agar tidak selesai terlebih dahulu. Flag --experimental_local_lockfree_output memungkinkan solusi atas masalah ini dengan memungkinkan eksekusi lokal menulis langsung ke output, tetapi dibatalkan oleh eksekusi jarak jauh, jika eksekusi tersebut selesai terlebih dahulu.

Jika salah satu cabang eksekusi dinamis selesai terlebih dahulu, tetapi mengalami kegagalan, seluruh tindakannya akan gagal. Hal ini adalah pilihan yang disengaja agar perbedaan antara eksekusi lokal dan jarak jauh tidak terlihat.

Untuk latar belakang lebih lanjut tentang cara kerja eksekusi dinamis dan pengunciannya, lihat postingan blog Julio Merino yang sangat bagus

Kapan saya harus menggunakan eksekusi dinamis?

Eksekusi dinamis memerlukan beberapa bentuk sistem eksekusi jarak jauh. Saat ini, penggunaan sistem jarak jauh khusus cache tidak dapat digunakan, karena cache yang tidak ditemukan akan dianggap sebagai tindakan yang gagal.

Tidak semua jenis tindakan cocok untuk eksekusi jarak jauh. Kandidat terbaik adalah kandidat yang secara lokal lebih cepat, misalnya melalui penggunaan pekerja persisten, atau yang berjalan cukup cepat sehingga overhead eksekusi jarak jauh mendominasi waktu eksekusi. Karena setiap tindakan yang dieksekusi secara lokal mengunci sejumlah resource CPU dan memori, menjalankan tindakan yang tidak termasuk dalam kategori tersebut hanya menunda eksekusi untuk tindakan yang tercakup dalam kategori tersebut.

Mulai rilis 5.0.0-pre.20210708.4, pembuatan profil performa berisi data tentang eksekusi pekerja, termasuk waktu yang dihabiskan untuk menyelesaikan permintaan pekerjaan setelah kehilangan perlombaan eksekusi dinamis. Jika Anda melihat thread pekerja eksekusi dinamis menghabiskan banyak waktu untuk mendapatkan resource, atau banyak waktu di async-worker-finish, Anda mungkin memiliki beberapa tindakan lokal yang lambat yang menunda thread pekerja.

Membuat profil data dengan performa eksekusi dinamis yang buruk

Pada profil di atas, yang menggunakan 8 pekerja Javac, kita melihat banyak pekerja Javac yang kalah dalam balapan dan menyelesaikan pekerjaan di thread async-worker-finish. Hal ini disebabkan oleh mnemonik non-pekerja yang mengambil cukup sumber daya untuk menunda pekerja.

Membuat profil data dengan performa eksekusi dinamis yang lebih baik

Jika hanya Javac yang dijalankan dengan eksekusi dinamis, hanya sekitar setengah dari pekerja yang memulai akan kalah dalam balapan setelah memulai pekerjaan mereka.

Flag --experimental_spawn_scheduler yang sebelumnya direkomendasikan tidak digunakan lagi. Tindakan ini akan mengaktifkan eksekusi dinamis dan menetapkan dynamic sebagai strategi default untuk semua mnemonik, yang sering kali akan menyebabkan masalah seperti ini.

Pemecahan masalah

Masalah dengan eksekusi dinamis bisa jadi kecil dan sulit di-debug, karena masalah tersebut hanya dapat terjadi dalam beberapa kombinasi spesifik eksekusi lokal dan jarak jauh. --debug_spawn_scheduler menambahkan output tambahan dari sistem eksekusi dinamis yang dapat membantu men-debug masalah ini. Anda juga dapat menyesuaikan tanda --local_execution_delay dan jumlah pekerjaan jarak jauh vs. lokal untuk mempermudah mereproduksi masalah.

Jika Anda mengalami masalah dengan eksekusi dinamis yang menggunakan strategi standalone, coba jalankan tanpa --experimental_local_lockfree_output, atau jalankan tindakan lokal dalam sandbox. Tindakan ini mungkin akan sedikit memperlambat build (lihat di atas jika Anda menggunakan Mac atau Windows), tetapi akan menghilangkan beberapa kemungkinan penyebab kegagalan.