このページでは、アーティファクト ベースのビルドシステムと、その作成の背後にある考え方について説明します。Bazel はアーティファクト ベースのビルドシステムです。タスクベースのビルドシステムはビルド スクリプトよりも優れていますが、個々のエンジニアが独自のタスクを定義できるようにすることで、個々のエンジニアに過度の権限を与えます。
アーティファクト ベースのビルドシステムには、エンジニアが制限付きで構成できる、システムによって定義されたタスクが少数あります。エンジニアは引き続きビルドする内容をシステムに指示しますが、ビルドシステムがビルド方法を決定します。タスクベースのビルドシステムと同様に、Bazel などのアーティファクト ベースのビルドシステムにもビルドファイルがありますが、これらのビルドファイルの内容は大きく異なります。Bazel のビルドファイルは、出力の生成方法を記述するチューリング完全なスクリプト言語の命令型のコマンドのセットではなく、ビルドする一連のアーティファクト、その依存関係、ビルド方法に影響する限定的なオプションを記述する宣言型のマニフェストです。エンジニアがコマンドラインで bazel を実行すると、ビルドする一連のターゲット（what）を指定します。Bazel は、コンパイル ステップの構成、実行、スケジューリング（how）を担当します。ビルドシステムは、どのツールをいつ実行するかを完全に制御できるため、正確性を保証しながら、はるかに効率的なビルドを実現できます。
機能的な視点
アーティファクト ベースのビルドシステムと関数型プログラミングを比較するのは簡単です。従来の命令型プログラミング言語（Java、C、Python など）では、タスクベースのビルドシステムでプログラマが実行する一連のステップを定義するのと同じように、順番に実行されるステートメントのリストを指定します。一方、関数型プログラミング言語（Haskell や ML など）は、一連の数学式に似た構造になっています。関数型言語では、プログラマは実行する計算を記述しますが、その計算がいつ、どのように実行されるかについてはコンパイラに任せます。
これは、アーティファクト ベースのビルドシステムでマニフェストを宣言し、システムにビルドの実行方法を判断させるという考え方にマッピングされます。多くの問題は関数型プログラミングを使用して簡単に表現できませんが、関数型プログラミングから大きなメリットを得られる問題もあります。多くの場合、このようなプログラムは簡単に並列化でき、命令型言語では不可能な正確性について強力な保証を行うことができます。関数型プログラミングを使用して表現するのが最も簡単な問題は、一連のルールまたは関数を使用してあるデータを別のデータに変換するだけの問題です。ビルドシステムはまさにそのものです。システム全体は、ソースファイル（およびコンパイラなどのツール）を入力として受け取り、バイナリを出力する数学的な関数です。したがって、関数型プログラミングの原則に基づいてビルドシステムを構築するのが適切であることは驚くべきことではありません。
アーティファクト ベースのビルドシステムについて
Google のビルドシステムである Blaze は、最初のアーティファクト ベースのビルドシステムでした。Bazel は Blaze のオープンソース バージョンです。
Bazel のビルドファイル（通常は BUILD という名前）は次のようになります。
java_binary(
name = "MyBinary",
srcs = ["MyBinary.java"],
deps = [
":mylib",
],
)
java_library(
name = "mylib",
srcs = ["MyLibrary.java", "MyHelper.java"],
visibility = ["//java/com/example/myproduct:__subpackages__"],
deps = [
"//java/com/example/common",
"//java/com/example/myproduct/otherlib",
],
)
Bazel では、BUILD ファイルでターゲットを定義します。ここでは、java_binary と java_library の 2 種類のターゲットがあります。すべてのターゲットは、システムによって作成できるアーティファクトに対応しています。バイナリ ターゲットは、直接実行できるバイナリを生成します。ライブラリ ターゲットは、バイナリや他のライブラリで使用できるライブラリを生成します。すべてのターゲットには、次の要素があります。
name: コマンドラインと他のターゲットからターゲットが参照される方法srcs: ターゲットのアーティファクトを作成するためにコンパイルするソースファイルdeps: このターゲットの前にビルドしてリンクする必要がある他のターゲット
依存関係は、同じパッケージ内（MyBinary の :mylib に対する依存関係など）または同じソース階層内の別のパッケージ（mylib の //java/com/example/common に対する依存関係など）に存在できます。
タスクベースのビルドシステムと同様に、Bazel のコマンドライン ツールを使用してビルドを実行します。MyBinary ターゲットをビルドするには、bazel build :MyBinary を実行します。クリーンなリポジトリでこのコマンドを初めて入力すると、Bazel は次の処理を行います。
- ワークスペース内のすべての
BUILDファイルを解析して、アーティファクト間の依存関係のグラフを作成します。 - グラフを使用して、
MyBinaryの推移的依存関係（MyBinaryが依存するすべてのターゲットと、それらのターゲットが依存するすべてのターゲット）を再帰的に決定します。 - これらの依存関係を順番にビルドします。Bazel は、まず他の依存関係がない各ターゲットをビルドし、各ターゲットでまだビルドが必要な依存関係を追跡します。ターゲットの依存関係がすべてビルドされるとすぐに、Bazel はそのターゲットのビルドを開始します。このプロセスは、
MyBinaryのすべての伝播依存関係がビルドされるまで続きます。 MyBinaryをビルドして、ステップ 3 でビルドされたすべての依存関係をリンクする最終的な実行可能バイナリを生成します。
基本的に、ここで行われている処理は、タスクベースのビルドシステムを使用した場合とそれほど変わらないように見えるかもしれません。確かに、最終的な結果は同じバイナリであり、その生成プロセスでは、一連のステップを分析して相互依存関係を見つけ、それらのステップを順番に実行します。ただし、重要な違いがあります。最初のステップはステップ 3 です。Bazel は、各ターゲットが Java ライブラリのみを生成することを認識しているため、任意のユーザー定義スクリプトではなく Java コンパイラを実行するだけで済むことを認識し、これらのステップを並行して実行しても安全であることを認識しています。これにより、マルチコア マシンでターゲットを 1 つずつビルドする場合よりも 1 桁のパフォーマンス向上が得られます。これは、アーティファクト ベースのアプローチでは、ビルドシステムが独自の実行戦略を担当し、並列処理についてより強力な保証を提供できるためです。
ただし、メリットは並列処理だけにとどまりません。このアプローチの次の効果は、デベロッパーが変更を加えずに bazel
build :MyBinary を 2 回目に入力したときに明らかになります。Bazel は 1 秒未満で終了し、ターゲットが最新であるというメッセージが表示されます。これは、前述の関数型プログラミングのパラダイムにより可能になります。Bazel は、各ターゲットが Java コンパイラの実行の結果のみであることを認識しており、Java コンパイラからの出力が入力にのみ依存することを認識しているため、入力が変更されていない限り、出力を再利用できます。この分析はすべてのレベルで機能します。MyBinary.java が変更された場合、Bazel は MyBinary を再ビルドし、mylib を再利用することを認識します。//java/com/example/common のソースファイルが変更された場合、Bazel は、そのライブラリ（mylib、MyBinary）を再ビルドしますが、//java/com/example/myproduct/otherlib は再利用します。Bazel は、実行するツールのプロパティをすべてのステップで認識しているため、古いビルドが生成されないようにしながら、毎回最小限のアセットセットのみを再ビルドできます。
タスクではなくアーティファクトの観点からビルドプロセスを再構成することは、微妙ですが強力な方法です。プログラマに公開される柔軟性を減らすことで、ビルドシステムはビルドの各ステップで何が行われているかをより詳細に把握できます。この知識を使用して、ビルドプロセスを並列化し、その出力を再利用することで、ビルドを大幅に効率化できます。しかし、これはほんの第一歩に過ぎません。並列処理と再利用のこれらの構成要素は、分散型で高度にスケーラブルなビルドシステムの基盤となります。
その他の便利な Bazel のトリック
アーティファクト ベースのビルドシステムは、タスクベースのビルドシステムに固有の並列処理と再利用の問題を根本的に解決します。ただし、以前に発生した問題の一部は、まだ解決されていません。Bazel には、これらの問題を解決する賢い方法があります。先に進む前に、それらについて説明します。
依存関係としてのツール
以前に発生した問題の 1 つは、ビルドがマシンにインストールされているツールに依存し、ツールのバージョンや場所が異なるため、システム間でビルドを再現するのが難しいことです。プロジェクトで、ビルドまたはコンパイル対象のプラットフォーム（Windows と Linux など）に応じて異なるツールを必要とする言語を使用している場合、問題はさらに複雑になります。これらのプラットフォームでは、同じジョブを実行するために、それぞれに少し異なるツールセットが必要になります。
Bazel は、ツールを各ターゲットの依存関係として扱うことで、この問題の最初の部分を解決します。ワークスペース内のすべての java_library は、Java コンパイラに暗黙的に依存します。これはデフォルトでよく知られたコンパイラになります。Bazel は java_library をビルドするたびに、指定されたコンパイラが既知の場所にあることを確認します。他の依存関係と同様に、Java コンパイラが変更されると、それに依存するすべてのアーティファクトが再ビルドされます。
Bazel は、ビルド構成を設定して、問題の 2 番目の部分であるプラットフォームの独立性を解決します。ターゲットはツールに直接依存するのではなく、構成の種類に依存します。
- ホストの構成: ビルド中に実行されるビルドツール
- ターゲット構成: 最終的にリクエストしたバイナリのビルド
ビルドシステムの拡張
Bazel には、一般的なプログラミング言語用のターゲットが用意されていますが、エンジニアは常にそれ以上のことを望んでいます。タスクベースのシステムのメリットの一部は、あらゆる種類のビルドプロセスを柔軟にサポートできることです。アーティファクト ベースのビルドシステムでそれを放棄しないことをおすすめします。幸い、Bazel では、カスタムルールを追加することで、サポートされているターゲット タイプを拡張できます。
Bazel でルールを定義するには、ルールの作成者が、ルールに必要な入力（BUILD ファイルで渡される属性の形式）と、ルールが生成する出力の固定セットを宣言します。作成者は、そのルールによって生成されるアクションも定義します。各アクションは入力と出力を宣言し、特定の実行可能ファイルを実行するか、特定の文字列をファイルに書き込みます。また、入力と出力を通じて他のアクションに接続できます。つまり、アクションはビルドシステムの最下位レベルの構成可能ユニットです。宣言された入力と出力のみを使用する限り、アクションは任意の処理を行うことができます。Bazel は、アクションのスケジュール設定と結果のキャッシュ保存を適切に処理します。
アクション デベロッパーがアクションの一部として非決定的プロセスを導入するようなことを止める方法がないため、このシステムは万全ではありません。ただし、実際にはこのようなことはあまり起こらず、不正使用の可能性をアクション レベルまで下げることで、エラーの発生を大幅に減らすことができます。多くの一般的な言語とツールをサポートするルールはオンラインで広く入手できます。ほとんどのプロジェクトでは、独自のルールを定義する必要はありません。それでも、ルール定義はリポジトリの 1 か所の中央で定義するだけで済みます。つまり、ほとんどのエンジニアは、実装を心配することなく、これらのルールを使用できます。
環境の分離
アクションは、他のシステムのタスクと同じ問題に直面する可能性があるようです。同じファイルに書き込み、最終的に競合するアクションを作成することは可能ですか？実際、Bazel はサンドボックスを使用して、このような競合を回避します。サポートされているシステムでは、すべてのアクションはファイルシステム サンドボックスを介して他のアクションから分離されます。実際には、各アクションは、宣言した入力と生成した出力を含む、ファイル システムの制限付きビューのみを参照できます。これは、Docker の基盤となるテクノロジーと同様の Linux の LXC などのシステムによって適用されます。つまり、宣言していないファイルを読み取ることができず、宣言していないファイルを書き込んでも、アクションの終了時に破棄されるため、アクションが競合することはありません。Bazel はサンドボックスを使用して、アクションがネットワーク経由で通信できないようにします。
外部依存関係を確定的に設定する
まだ 1 つの問題が残っています。ビルドシステムでは、依存関係（ツールやライブラリ）を直接ビルドするのではなく、外部ソースからダウンロードすることがよくあります。これは、Maven から JAR ファイルをダウンロードする @com_google_common_guava_guava//jar 依存関係の例で確認できます。
現在のワークスペース外のファイルに依存することはリスクがあります。これらのファイルはいつでも変更される可能性があるため、ビルドシステムで最新かどうかを常に確認する必要があります。ワークスペースのソースコードが変更されずにリモート ファイルが変更されると、再現できないビルドになることもあります。気付かれない依存関係の変更が原因で、ビルドが 1 日目は動作し、翌日は何の理由もなく失敗することがあります。最後に、外部依存関係がサードパーティによって所有されている場合、大きなセキュリティ リスクが生じる可能性があります。攻撃者がそのサードパーティ サーバーに侵入すると、依存関係ファイルを独自の設計のものに置き換え、ビルド環境とその出力を完全に制御できる可能性があります。
根本的な問題は、ソース管理にチェックインしなくても、ビルドシステムがこれらのファイルを認識できるようにすることです。依存関係の更新は意識的に選択する必要がありますが、その選択は、個々のエンジニアが管理したり、システムが自動的に管理したりするのではなく、一元的な場所で一度行う必要があります。これは、「Live at Head」モデルでも、ビルドを確定的にしたいためです。つまり、先週の commit をチェックアウトした場合、依存関係は現在の状態ではなく、その時の状態が表示される必要があります。
Bazel などのビルドシステムでは、ワークスペース内のすべての外部依存関係の暗号ハッシュを一覧表示するワークスペース全体のマニフェスト ファイルを必要とすることで、この問題に対処しています。ハッシュは、ファイル全体をソース管理にチェックインせずに、ファイルを一意に表す簡潔な方法です。ワークスペースから新しい外部依存関係が参照されるたびに、その依存関係のハッシュが手動または自動でマニフェストに追加されます。Bazel がビルドを実行すると、キャッシュに保存されている依存関係の実際のハッシュをマニフェストで定義された想定ハッシュと照らし合わせて、ハッシュが異なる場合にのみファイルを再ダウンロードします。
ダウンロードしたアーティファクトのハッシュがマニフェストで宣言されたハッシュと異なる場合、マニフェストのハッシュが更新されない限り、ビルドは失敗します。これは自動的に行うことができますが、ビルドで新しい依存関係が受け入れられるには、その変更が承認され、ソース管理にチェックインされている必要があります。つまり、依存関係が更新された日時が常に記録され、ワークスペース ソースで対応する変更が行われない限り、外部依存関係を変更することはできません。また、古いバージョンのソースコードをチェックアウトするときに、そのバージョンがチェックインされた時点で使用していたものと同じ依存関係がビルドで使用されることが保証されます（それらの依存関係が使用できなくなった場合は、失敗します）。
もちろん、リモート サーバーが利用できなくなったり、破損したデータを提供したりすると、問題が発生する可能性があります。その依存関係の別のコピーが利用できない場合、すべてのビルドが失敗する可能性があります。この問題を回避するには、複雑なプロジェクトの場合は、すべての依存関係を信頼して管理できるサーバーまたはサービスにミラーリングすることをおすすめします。そうしないと、チェックインされたハッシュがセキュリティを保証していても、ビルドシステムの可用性は常にサードパーティに依存することになります。