Tối ưu hoá bộ nhớ

Báo cáo vấn đề Xem nguồn Nightly · 8.0 7.4 . 7.3 · 7.2 · 7.1 · 7.0 · 6.5

Trang này mô tả cách giới hạn và giảm bộ nhớ mà Bazel sử dụng.

Chạy Bazel với RAM hạn chế

Trong một số trường hợp, bạn có thể muốn Bazel sử dụng bộ nhớ tối thiểu. Bạn có thể đặt vùng nhớ khối xếp tối đa thông qua cờ khởi động --host_jvm_args, chẳng hạn như --host_jvm_args=-Xmx2g.

Tốc độ bản dựng gia tăng để đổi lấy bộ nhớ

Nếu bản dựng quá lớn, Bazel có thể gửi một OutOfMemoryError (OOM) khi không có đủ bộ nhớ. Bạn có thể khiến Bazel sử dụng ít bộ nhớ hơn, nhưng các bản dựng tăng dần sẽ chậm hơn, bằng cách truyền các cờ lệnh sau: --discard_analysis_cache, --nokeep_state_after_build--notrack_incremental_state.

Các cờ này sẽ giảm thiểu bộ nhớ mà Bazel sử dụng trong một bản dựng, với chi phí là làm cho các bản dựng trong tương lai chậm hơn so với bản dựng gia tăng tiêu chuẩn.

Bạn cũng có thể truyền từng cờ trong số này:

  • --discard_analysis_cache sẽ giảm bộ nhớ được sử dụng trong quá trình thực thi (không phải phân tích). Các bản dựng gia tăng sẽ không phải tải lại gói, nhưng sẽ phải phân tích và thực thi lại (mặc dù bộ nhớ đệm hành động trên ổ đĩa có thể ngăn chặn hầu hết các lần thực thi lại).
  • --notrack_incremental_state sẽ không lưu trữ bất kỳ cạnh nào trong biểu đồ phần phụ thuộc nội bộ của Bazel, do đó, bạn không thể sử dụng biểu đồ này cho các bản dựng gia tăng. Bản dựng tiếp theo sẽ loại bỏ dữ liệu đó, nhưng dữ liệu sẽ được giữ lại cho đến lúc đó để gỡ lỗi nội bộ, trừ phi bạn chỉ định --nokeep_state_after_build.
  • --nokeep_state_after_build sẽ loại bỏ tất cả dữ liệu sau khi tạo bản dựng, vì vậy, các bản dựng gia tăng phải tạo lại từ đầu (ngoại trừ bộ nhớ đệm thao tác trên ổ đĩa). Chỉ riêng việc này không ảnh hưởng đến điểm cao nhất của bản dựng hiện tại.

Tiết kiệm bộ nhớ bằng cách đánh đổi tính linh hoạt của bản dựng với Skyfocus (Thử nghiệm)

Nếu muốn Bazel sử dụng ít bộ nhớ hơn duy trì tốc độ bản dựng tăng dần, bạn có thể cho Bazel biết tập hợp các tệp đang hoạt động mà bạn sẽ sửa đổi và Bazel sẽ chỉ giữ lại trạng thái cần thiết để tạo lại các thay đổi một cách chính xác cho các tệp đó. Tính năng này được gọi là Skyfocus.

Để sử dụng Skyfocus, hãy truyền cờ --experimental_enable_skyfocus:

bazel build //pkg:target --experimental_enable_skyfocus

Theo mặc định, nhóm làm việc sẽ là tập hợp các tệp bên cạnh mục tiêu đang được tạo. Trong ví dụ này, tất cả tệp trong //pkg sẽ được giữ trong nhóm làm việc và các thay đổi đối với tệp bên ngoài nhóm làm việc sẽ không được cho phép cho đến khi bạn phát hành bazel clean hoặc khởi động lại máy chủ Bazel.

Nếu bạn muốn chỉ định một nhóm tệp hoặc thư mục chính xác, hãy sử dụng cờ --experimental_working_set, như sau:

bazel build //pkg:target --experimental_enable_skyfocus
--experimental_working_set=path/to/another/dir,path/to/tests/dir

Bạn cũng có thể truyền --experimental_skyfocus_dump_post_gc_stats để hiển thị lượng bộ nhớ giảm:

Khi kết hợp tất cả, bạn sẽ thấy nội dung như sau:

$ bazel test //pkg:target //tests/... --experimental_enable_skyfocus --experimental_working_set dir1,dir2,dir3/subdir --experimental_skyfocus_dump_post_gc_stats
INFO: --experimental_enable_skyfocus is enabled. Blaze will reclaim memory not needed to build the working set. Run 'blaze dump --skyframe=working_set' to show the working set, after this command.
WARNING: Changes outside of the working set will cause a build error.
INFO: Analyzed 149 targets (4533 packages loaded, 169438 targets configured).
INFO: Found 25 targets and 124 test targets...
INFO: Updated working set successfully.
INFO: Focusing on 334 roots, 3 leafs... (use --experimental_skyfocus_dump_keys to show them)
INFO: Heap: 1237MB -> 676MB (-45.31%)
INFO: Elapsed time: 192.670s ...
INFO: Build completed successfully, 62303 total actions

Đối với ví dụ này, việc sử dụng Skyfocus cho phép Bazel giảm 561 MB (45%) bộ nhớ và các bản dựng gia tăng để xử lý các thay đổi đối với tệp trong dir1, dir2dir3/subdir sẽ giữ nguyên tốc độ nhanh, với sự đánh đổi là Bazel không thể tạo lại các tệp đã thay đổi bên ngoài các thư mục này.

Phân tích bộ nhớ

Bazel đi kèm với một trình phân tích bộ nhớ tích hợp sẵn có thể giúp bạn kiểm tra mức sử dụng bộ nhớ của quy tắc. Đọc thêm về quy trình này trong phần Phân tích tài nguyên bộ nhớ của tài liệu về cách cải thiện hiệu suất của các quy tắc tuỳ chỉnh.