Android インストルメンテーションテスト

Nightly · 9.0 · 8.6 · 8.5 · 8.4 · 8.3 · 8.2 · 7.7

Bazel を初めて使用する場合は、Bazel を使用して Android をビルドするチュートリアルから始めてください。

Android インストルメンテーションテストを並列実行する

図 1.Android インストルメンテーションテストの並列実行。

android_instrumentation_test を使用すると、デベロッパーは Android エミュレータとデバイスでアプリをテストできます。実際の Android フレームワーク API と Android テストライブラリを利用します。

Bazel は、密閉性と再現性を確保するため、サンドボックスで Android エミュレータを作成して起動し、テストが常にクリーンな状態から実行されるようにします。各テストには分離されたエミュレータインスタンスが割り当てられるため、テスト間で状態を渡すことなく並行して実行できます。

Android インストルメンテーションテストの詳細については、Android developer documentationをご覧ください。

問題がある場合は、GitHub Issue Tracker で報告してください。

仕組み

android_instrumentation_test ターゲットで bazel test を初めて実行すると、Bazel は次の手順を行います。

テスト APK、テスト対象の APK、それらの推移的な依存関係をビルドする
クリーンなエミュレータの状態を作成、起動、キャッシュする
エミュレータを起動する
APK をインストールする
Android Test Orchestrator を利用してテストを実行する
エミュレータをシャットダウンする
結果を報告する

以降のテスト実行では、Bazel はステップ 2 で作成されたクリーンなキャッシュ状態からエミュレータを起動するため、以前の実行の状態は残りません。エミュレータの状態をキャッシュすると、テストの実行も高速化されます。

前提条件

環境が次の前提条件を満たしていることを確認してください。

Linux 。Ubuntu 16.04 と 18.04 でテスト済み。
Bazel 0.12.0 以降。bazel info release を実行してバージョンを確認します。

bazel info release

次のような出力が表示されます。

release 4.1.0

KVM 。Bazel では、エミュレータにハードウェアアクセラレーション（Linux で KVM を使用）が必要です。Ubuntu のインストール手順に沿ってインストールできます。

KVM が正しく構成されていることを確認するには、次のコマンドを実行します。

apt-get install cpu-checker && kvm-ok

次のメッセージが表示された場合は、構成が正しく行われています。

INFO: /dev/kvm exists
KVM acceleration can be used

Xvfb 。ヘッドレステスト（CI サーバーなど）を実行するには、Bazel に X 仮想フレームバッファが必要です。

インストールするには、次のコマンドを実行します。

apt-get install xvfb

次のコマンドを実行して、Xvfb が正しくインストールされ、/usr/bin/Xvfb にインストールされていることを確認します。

which Xvfb

次のような出力が表示されます。

/usr/bin/Xvfb

32 ビットライブラリ。テストインフラストラクチャで使用されるバイナリの一部は 32 ビットであるため、64 ビットマシンでは 32 ビットのバイナリを実行できることを確認してください。Ubuntu の場合は、次の 32 ビットライブラリをインストールします。

sudo apt-get install libc6:i386 libncurses5:i386 libstdc++6:i386 lib32z1 libbz2-1.0:i386

スタートガイド

android_instrumentation_test の一般的なターゲット依存関係グラフを次に示します。

Android インストゥルメンテーションテストのターゲット依存関係グラフ

図 2.android_instrumentation_test のターゲット依存関係グラフ。

BUILD ファイル

グラフは次のような BUILD ファイルに変換されます。

android_instrumentation_test(
    name = "my_test",
    test_app = ":my_test_app",
    target_device = "@android_test_support//tools/android/emulated_devices/generic_phone:android_23_x86",
)

# Test app and library
android_binary(
    name = "my_test_app",
    instruments = ":my_app",
    manifest = "AndroidTestManifest.xml",
    deps = [":my_test_lib"],
    # ...
)

android_library(
    name = "my_test_lib",
    srcs = glob(["javatest/**/*.java"]),
    deps = [
        ":my_app_lib",
        "@maven//:androidx_test_core",
        "@maven//:androidx_test_runner",
        "@maven//:androidx_test_espresso_espresso_core",
    ],
    # ...
)

# Target app and library under test
android_binary(
    name = "my_app",
    manifest = "AndroidManifest.xml",
    deps = [":my_app_lib"],
    # ...
)

android_library(
    name = "my_app_lib",
    srcs = glob(["java/**/*.java"]),
    deps = [
        "@maven//:androidx_appcompat_appcompat",
        "@maven//:androidx_annotation_annotation",
    ]
    # ...
)

ルール android_instrumentation_test の主な属性は次のとおりです。

test_app: android_binary ターゲット。このターゲットには、テストコードと Espresso や UIAutomator などの依存関係が含まれています。選択した android_binary ターゲットでは、別の android_binary（テスト対象のアプリ）を指す instruments 属性を指定する必要があります。
target_device: android_device ターゲット。このターゲットは、 Bazel がテストの作成、起動、実行に使用する Android エミュレータの仕様を記述します。詳細については、Android デバイスの選択をご覧ください。

テストアプリの AndroidManifest.xml には an <instrumentation> tagを含める必要があります。このタグでは、ターゲットアプリのパッケージ と インストルメンテーションテストランナーの完全修飾クラス名、 androidx.test.runner.AndroidJUnitRunner の属性を指定する必要があります。

テストアプリの AndroidTestManifest.xml の例を次に示します。

<?xml version="1.0" encoding="UTF-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
          xmlns:tools="http://schemas.android.com/tools"
          package="com.example.android.app.test"
    android:versionCode="1"
    android:versionName="1.0">

    <instrumentation
        android:name="androidx.test.runner.AndroidJUnitRunner"
        android:targetPackage="com.example.android.app" />

    <uses-sdk
        android:minSdkVersion="16"
        android:targetSdkVersion="27" />

    <application >
       <!-- ... -->
    </application>
</manifest>

WORKSPACE の依存関係

このルールを使用するには、プロジェクトが次の外部リポジトリに依存している必要があります。

@androidsdk: Android SDK。Android Studio からダウンロードします。
@android_test_support: テストランナー、エミュレータランチャー、 android_device ターゲットをホストします。最新リリースはこちらで確認できます。

これらの依存関係を有効にするには、次の行を WORKSPACE ファイルに追加します。

# Android SDK
android_sdk_repository(
    name = "androidsdk",
    path = "/path/to/sdk", # or set ANDROID_HOME
)

# Android Test Support
ATS_COMMIT = "$COMMIT_HASH"
http_archive(
    name = "android_test_support",
    strip_prefix = "android-test-%s" % ATS_COMMIT,
    urls = ["https://github.com/android/android-test/archive/%s.tar.gz" % ATS_COMMIT],
)
load("@android_test_support//:repo.bzl", "android_test_repositories")
android_test_repositories()

Maven の依存関係

Google Maven や Maven Central などのリポジトリから Maven アーティファクトへの依存関係を管理するには、rules_jvm_external などの Maven リゾルバを使用する必要があります。

このページの残りの部分では、rules_jvm_external を使用して Maven リポジトリから依存関係を解決して取得する方法について説明します。

android_device ターゲットの選択

android_instrumentation_test.target_device は、テストを実行する Android デバイスを指定します。これらの android_device ターゲットは @android_test_supportで定義されています。

たとえば、特定のターゲットのソースをクエリするには、次のコマンドを実行します。

bazel query --output=build @android_test_support//tools/android/emulated_devices/generic_phone:android_23_x86

次のような出力が表示されます。

# .../external/android_test_support/tools/android/emulated_devices/generic_phone/BUILD:43:1
android_device(
  name = "android_23_x86",
  visibility = ["//visibility:public"],
  tags = ["requires-kvm"],
  generator_name = "generic_phone",
  generator_function = "make_device",
  generator_location = "tools/android/emulated_devices/generic_phone/BUILD:43",
  vertical_resolution = 800,
  horizontal_resolution = 480,
  ram = 2048,
  screen_density = 240,
  cache = 32,
  vm_heap = 256,
  system_image = "@android_test_support//tools/android/emulated_devices/generic_phone:android_23_x86_images",
  default_properties = "@android_test_support//tools/android/emulated_devices/generic_phone:_android_23_x86_props",
)

デバイスターゲット名には次のテンプレートを使用します。

@android_test_support//tools/android/emulated_devices/device_type:system_api_level_x86_qemu2

android_device を起動するには、選択した API レベルの system_image が必要です。システムイメージをダウンロードするには、Android SDK の tools/bin/sdkmanager を使用します。たとえば、 generic_phone:android_23_x86 のシステムイメージをダウンロードするには、$sdk/tools/bin/sdkmanager "system-images;android-23;default;x86" を実行します。

@android_test_support でサポートされているターゲットの完全なリストを表示するには、次のコマンドを実行します。android_device

bazel query 'filter("x86_qemu2$", kind(android_device, @android_test_support//tools/android/emulated_devices/...:*))'

現在、Bazel は x86 ベースのエミュレータのみをサポートしています。パフォーマンスを向上させるには、QEMU の代わりに QEMU2 android_device ターゲットを使用します。

テストの実行

テストを実行するには、次の行をプロジェクトの project root:/.bazelrc ファイルに追加します。

# Configurations for testing with Bazel
# Select a configuration by running
# `bazel test //my:target --config={headless, gui, local_device}`

# Headless instrumentation tests (No GUI)
test:headless --test_arg=--enable_display=false

# Graphical instrumentation tests. Ensure that $DISPLAY is set.
test:gui --test_env=DISPLAY
test:gui --test_arg=--enable_display=true

# Testing with a local emulator or device. Ensure that `adb devices` lists the
# device.
# Run tests serially.
test:local_device --test_strategy=exclusive
# Use the local device broker type, as opposed to WRAPPED_EMULATOR.
test:local_device --test_arg=--device_broker_type=LOCAL_ADB_SERVER
# Uncomment and set $device_id if there is more than one connected device.
# test:local_device --test_arg=--device_serial_number=$device_id

次に、いずれかの構成を使用してテストを実行します。

bazel test //my/test:target --config=gui
bazel test //my/test:target --config=headless
bazel test //my/test:target --config=local_device

1 つの構成のみ を使用してください。そうしないとテストは失敗します。

ヘッドレステスト

Xvfb を使用すると、グラフィカルインターフェースを使用せずにエミュレータでテストできます。これはヘッドレステストとも呼ばれます。テストの実行時にグラフィカルインターフェースを無効にするには、テスト引数 --enable_display=false を Bazel に渡します。

bazel test //my/test:target --test_arg=--enable_display=false

GUI テスト

$DISPLAY 環境変数が設定されている場合は、テストの実行中にエミュレータのグラフィカルインターフェースを有効にできます。これを行うには、次のテスト引数を Bazel に渡します。

bazel test //my/test:target --test_arg=--enable_display=true --test_env=DISPLAY

ローカルエミュレータまたはデバイスでのテスト

Bazel は、ローカルで起動したエミュレータまたは接続されたデバイスでの直接テストもサポートしています。ローカルテストモードを有効にするには、フラグ --test_strategy=exclusive と --test_arg=--device_broker_type=LOCAL_ADB_SERVER を渡します。接続されているデバイスが複数ある場合は、フラグ --test_arg=--device_serial_number=$device_id を渡します。ここで、$device_id は `adb devices` に表示されるデバイス/エミュレータの ID です。adb devices

サンプルプロジェクト

標準的なプロジェクトサンプルについては、Android テストサンプルをご覧ください。Espresso と UIAutomator を使用するプロジェクトの

Espresso のセットアップ

Espresso（androidx.test.espresso）で UI テストを作成する場合は、次のスニペットを使用して、よく使用される Espresso アーティファクトとその依存関係のリストで Bazel ワークスペースを設定できます。

androidx.test.espresso:espresso-core
androidx.test:rules
androidx.test:runner
javax.inject:javax.inject
org.hamcrest:java-hamcrest
junit:junit

これらの依存関係を整理する方法の 1 つとして、//:test_deps 共有ライブラリを project root/BUILD.bazel ファイルに作成する方法があります。

java_library(
    name = "test_deps",
    visibility = ["//visibility:public"],
    exports = [
        "@maven//:androidx_test_espresso_espresso_core",
        "@maven//:androidx_test_rules",
        "@maven//:androidx_test_runner",
        "@maven//:javax_inject_javax_inject"
        "@maven//:org_hamcrest_java_hamcrest",
        "@maven//:junit_junit",
    ],
)

次に、project root/WORKSPACE に必要な依存関係を追加します。

load("@bazel_tools//tools/build_defs/repo:http.bzl", "http_archive")

RULES_JVM_EXTERNAL_TAG = "2.8"
RULES_JVM_EXTERNAL_SHA = "79c9850690d7614ecdb72d68394f994fef7534b292c4867ce5e7dec0aa7bdfad"

http_archive(
    name = "rules_jvm_external",
    strip_prefix = "rules_jvm_external-%s" % RULES_JVM_EXTERNAL_TAG,
    sha256 = RULES_JVM_EXTERNAL_SHA,
    url = "https://github.com/bazelbuild/rules_jvm_external/archive/%s.zip" % RULES_JVM_EXTERNAL_TAG,
)

load("@rules_jvm_external//:defs.bzl", "maven_install")

maven_install(
    artifacts = [
        "junit:junit:4.12",
        "javax.inject:javax.inject:1",
        "org.hamcrest:java-hamcrest:2.0.0.0"
        "androidx.test.espresso:espresso-core:3.1.1",
        "androidx.test:rules:aar:1.1.1",
        "androidx.test:runner:aar:1.1.1",
    ],
    repositories = [
        "https://maven.google.com",
        "https://repo1.maven.org/maven2",
    ],
)

最後に、テストの android_binary ターゲットに //:test_deps 依存関係を追加します。

android_binary(
    name = "my_test_app",
    instruments = "//path/to:app",
    deps = [
        "//:test_deps",
        # ...
    ],
    # ...
)

ヒント

テストログの読み取り

--test_output=errors を使用して失敗したテストのログを出力するか、 --test_output=all を使用してすべてのテスト出力を出力します。個々のテストログを確認する場合は、に移動します $PROJECT_ROOT/bazel-testlogs/path/to/InstrumentationTestTargetName。

たとえば、BasicSample 標準プロジェクトのテストログは bazel-testlogs/ui/espresso/BasicSample/BasicSampleInstrumentationTest にあります。次のコマンドを実行します。

tree bazel-testlogs/ui/espresso/BasicSample/BasicSampleInstrumentationTest

次のような出力が表示されます。


$ tree bazel-testlogs/ui/espresso/BasicSample/BasicSampleInstrumentationTest
.
├── adb.409923.log
├── broker_logs
│   ├── aapt_binary.10.ok.txt
│   ├── aapt_binary.11.ok.txt
│   ├── adb.12.ok.txt
│   ├── adb.13.ok.txt
│   ├── adb.14.ok.txt
│   ├── adb.15.fail.txt
│   ├── adb.16.ok.txt
│   ├── adb.17.fail.txt
│   ├── adb.18.ok.txt
│   ├── adb.19.fail.txt
│   ├── adb.20.ok.txt
│   ├── adb.21.ok.txt
│   ├── adb.22.ok.txt
│   ├── adb.23.ok.txt
│   ├── adb.24.fail.txt
│   ├── adb.25.ok.txt
│   ├── adb.26.fail.txt
│   ├── adb.27.ok.txt
│   ├── adb.28.fail.txt
│   ├── adb.29.ok.txt
│   ├── adb.2.ok.txt
│   ├── adb.30.ok.txt
│   ├── adb.3.ok.txt
│   ├── adb.4.ok.txt
│   ├── adb.5.ok.txt
│   ├── adb.6.ok.txt
│   ├── adb.7.ok.txt
│   ├── adb.8.ok.txt
│   ├── adb.9.ok.txt
│   ├── android_23_x86.1.ok.txt
│   └── exec-1
│       ├── adb-2.txt
│       ├── emulator-2.txt
│       └── mksdcard-1.txt
├── device_logcat
│   └── logcat1635880625641751077.txt
├── emulator_itCqtc.log
├── outputs.zip
├── pipe.log.txt
├── telnet_pipe.log.txt
└── tmpuRh4cy
    ├── watchdog.err
    └── watchdog.out

4 directories, 41 files

エミュレータログの読み取り

android_device ターゲットのエミュレータログは、/tmp/ ディレクトリに emulator_xxxxx.log という名前で保存されます。ここで、xxxxx はランダムに生成された文字列です。

最新のエミュレータログを見つけるには、次のコマンドを使用します。

ls -1t /tmp/emulator_*.log | head -n 1

複数の API レベルに対するテスト

複数の API レベルに対してテストする場合は、リスト内包表記を使用して、API レベルごとにテストターゲットを作成できます。次に例を示します。

API_LEVELS = [
    "19",
    "20",
    "21",
    "22",
]

[android_instrumentation_test(
    name = "my_test_%s" % API_LEVEL,
    test_app = ":my_test_app",
    target_device = "@android_test_support//tools/android/emulated_devices/generic_phone:android_%s_x86_qemu2" % API_LEVEL,
) for API_LEVEL in API_LEVELS]

既知の問題

フォークされた adb サーバープロセスがテスト後に終了しない
APK のビルドはすべてのプラットフォーム（Linux、macOS、Windows）で機能しますが、テストは Linux でのみ機能します。
--config=local_adb を使用しても、 android_instrumentation_test.target_device を指定する必要があります。
ローカルデバイスまたはエミュレータを使用する場合、Bazel はテスト後に APK をアンインストールしません。次のコマンドを実行してパッケージをクリーンアップします。

adb shell pm list
packages com.example.android.testing | cut -d ':' -f 2 | tr -d '\r' | xargs
-L1 -t adb uninstall

Android インストルメンテーション テスト コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

仕組み

前提条件

スタートガイド

BUILD ファイル

WORKSPACE の依存関係

Maven の依存関係

android_device ターゲットの選択

テストの実行

ヘッドレス テスト

GUI テスト

ローカル エミュレータまたはデバイスでのテスト

サンプル プロジェクト

Espresso のセットアップ

ヒント

テストログの読み取り

エミュレータログの読み取り

複数の API レベルに対するテスト

既知の問題

Android インストルメンテーションテスト

ヘッドレステスト

ローカルエミュレータまたはデバイスでのテスト

サンプルプロジェクト