Khung tranh tường

Báo cáo vấn đề Xem nguồn Nightly .

Mô hình đánh giá song song và mức độ gia tăng của Bazel.

Mô hình dữ liệu

Mô hình dữ liệu bao gồm các mục sau:

• SkyValue. Còn được gọi là nút. SkyValues là các đối tượng bất biến chứa tất cả dữ liệu được tạo trong quá trình tạo bản dựng và dữ liệu đầu vào của bản dựng. Ví dụ: tệp đầu vào, tệp đầu ra, mục tiêu và mục tiêu đã định cấu hình.
• SkyKey. Một tên ngắn không thể thay đổi để tham chiếu đến SkyValue, chẳng hạn như FILECONTENTS:/tmp/foo hoặc PACKAGE://foo.
• SkyFunction. Tạo các nút dựa trên khoá và các nút phụ thuộc.
• Biểu đồ nút. Một cấu trúc dữ liệu chứa mối quan hệ phần phụ thuộc giữa các nút.
• Skyframe. Tên mã cho khung đánh giá gia tăng Bazel sẽ dựa trên.

Đánh giá

Một bản dựng đạt được bằng cách đánh giá nút đại diện cho yêu cầu bản dựng.

Trước tiên, Bazel tìm SkyFunction tương ứng với khoá của SkyKey cấp cao nhất. Sau đó, hàm này sẽ yêu cầu đánh giá các nút cần đánh giá nút cấp cao nhất, từ đó dẫn đến các lệnh gọi SkyFunction khác, cho đến khi đạt được các nút lá. Các nút lá thường là những nút đại diện cho tệp đầu vào trong hệ thống tệp. Cuối cùng, Bazel kết thúc bằng giá trị của SkyValue cấp cao nhất, một số hiệu ứng phụ (chẳng hạn như tệp đầu ra trong hệ thống tệp) và một đồ thị không chu trình có hướng của các phần phụ thuộc giữa các nút liên quan đến bản dựng.

SkyFunction có thể yêu cầu SkyKeys trong nhiều lần truyền nếu không thể thông báo trước tất cả các nút mà nó cần để thực hiện công việc của mình. Một ví dụ đơn giản là đánh giá một nút tệp đầu vào hoá ra là một đường liên kết tượng trưng: hàm này sẽ cố gắng đọc tệp, nhận ra rằng đó là một đường liên kết tượng trưng, từ đó tìm nạp nút hệ thống tệp đại diện cho mục tiêu của đường liên kết tượng trưng. Tuy nhiên, bản thân đó có thể là một đường liên kết tượng trưng, trong trường hợp đó, hàm gốc cũng cần tìm nạp mục tiêu của nó.

Các hàm được biểu thị trong mã bằng giao diện SkyFunction và các dịch vụ được cung cấp cho giao diện đó bằng giao diện có tên là SkyFunction.Environment. Dưới đây là những chức năng mà các hàm có thể thực hiện:

• Yêu cầu đánh giá một nút khác bằng cách gọi env.getValue. Nếu nút có sẵn, giá trị của nút đó sẽ được trả về, nếu không, null sẽ được trả về và bản thân hàm dự kiến sẽ trả về null. Trong trường hợp sau, nút phụ thuộc sẽ được đánh giá, sau đó trình tạo nút ban đầu sẽ được gọi lại, nhưng lần này lệnh gọi env.getValue tương tự sẽ trả về một giá trị không phải null.
• Yêu cầu đánh giá nhiều nút khác bằng cách gọi env.getValues(). Về cơ bản, điều này là giống nhau, ngoại trừ việc các nút phụ thuộc được đánh giá song song.
• Thực hiện việc tính toán trong lệnh gọi
• Có tác dụng phụ, chẳng hạn như ghi tệp vào hệ thống tệp. Cần cẩn thận để đảm bảo 2 chức năng khác nhau không dẫm lên nhau. Nhìn chung, bạn có thể viết các hiệu ứng phụ (trong đó dữ liệu chuyển ra từ Bazel), hãy đọc các hiệu ứng phụ (trong đó dữ liệu truyền vào Bazel mà không có phần phụ thuộc đã đăng ký) thì không, vì chúng là phần phụ thuộc chưa đăng ký và do đó có thể gây ra các bản dựng gia tăng không chính xác.

Việc triển khai SkyFunction hoạt động đúng cách tránh truy cập dữ liệu theo bất kỳ cách nào khác ngoài việc yêu cầu các phần phụ thuộc (chẳng hạn như bằng cách đọc trực tiếp hệ thống tệp), vì điều đó dẫn đến việc Bazel không đăng ký phần phụ thuộc dữ liệu trên tệp đã đọc, dẫn đến các bản dựng tăng dần không chính xác.

Khi có đủ dữ liệu để thực hiện công việc, hàm đó phải trả về giá trị không phải null cho biết đã hoàn thành.

Chiến lược đánh giá này có một số lợi ích:

• Tính bí mật. Nếu các hàm chỉ yêu cầu dữ liệu đầu vào bằng cách phụ thuộc vào các nút khác, thì Bazel có thể đảm bảo rằng nếu trạng thái đầu vào là giống nhau, thì cùng một dữ liệu sẽ được trả về. Nếu tất cả các hàm bầu trời đều mang tính xác định, thì toàn bộ bản dựng cũng sẽ có tính xác định.
• Mức độ gia tăng chính xác và hoàn hảo. Nếu mọi dữ liệu đầu vào của tất cả các hàm được ghi lại, thì Bazel chỉ có thể vô hiệu hoá tập hợp các nút chính xác cần vô hiệu hoá khi dữ liệu đầu vào thay đổi.
• Song song. Vì các hàm chỉ có thể tương tác với nhau bằng cách yêu cầu phần phụ thuộc, nên các hàm không phụ thuộc vào nhau có thể chạy song song và Bazel có thể đảm bảo rằng kết quả giống như khi chúng chạy tuần tự.

Mức độ gia tăng

Vì các hàm chỉ có thể truy cập vào dữ liệu đầu vào bằng cách phụ thuộc vào các nút khác, nên Bazel có thể tạo một biểu đồ luồng dữ liệu hoàn chỉnh từ các tệp đầu vào đến các tệp đầu ra, đồng thời sử dụng thông tin này để chỉ xây dựng lại các nút thực sự cần được tạo lại: đóng bắc cầu ngược của tập hợp các tệp đầu vào đã thay đổi.

Cụ thể, có thể có 2 chiến lược về mức độ gia tăng: chiến lược từ dưới lên và chiến lược từ trên xuống. Phương án nào là tối ưu phụ thuộc vào hình thức của biểu đồ phần phụ thuộc.

• Trong quá trình vô hiệu hoá từ dưới lên, sau khi tạo biểu đồ và xác định tập hợp các đầu vào đã thay đổi, tất cả các nút đều không hợp lệ và phụ thuộc bắc cầu vào các tệp đã thay đổi. Đây là giá trị tối ưu nếu cùng một nút cấp cao nhất được tạo lại. Xin lưu ý rằng việc vô hiệu hoá từ dưới lên yêu cầu chạy stat() trên tất cả các tệp đầu vào của bản dựng trước để xác định xem chúng đã được thay đổi hay chưa. Bạn có thể cải thiện điều này bằng cách sử dụng inotify hoặc một cơ chế tương tự để tìm hiểu về các tệp đã thay đổi.

• Trong quá trình vô hiệu hoá từ trên xuống, thao tác đóng bắc cầu của nút cấp cao nhất sẽ được kiểm tra và chỉ những nút đó được giữ lại có nút đóng bắc cầu rõ ràng. Phương pháp này hiệu quả hơn nếu biểu đồ nút lớn, nhưng bản dựng tiếp theo chỉ cần một tập hợp con nhỏ: việc vô hiệu hoá từ dưới lên sẽ vô hiệu hoá biểu đồ lớn hơn của bản dựng đầu tiên, khác với trường hợp vô hiệu hoá từ trên xuống chỉ đi qua biểu đồ nhỏ của bản dựng thứ hai.

Bazel chỉ vô hiệu hoá từ dưới lên.

Để có được mức độ gia tăng hơn nữa, Bazel sử dụng phương pháp rút gọn thay đổi: nếu một nút không hợp lệ, nhưng khi tạo lại, hệ thống sẽ phát hiện ra rằng giá trị mới giống với giá trị cũ, các nút đã mất hiệu lực do thay đổi trong nút này sẽ được "được phục hồi".

Cách này hữu ích, chẳng hạn như khi một người thay đổi một nhận xét trong tệp C++: thì tệp .o được tạo từ tệp đó sẽ giống nhau. Do đó, bạn không cần gọi lại trình liên kết.

Liên kết / Biên dịch tăng dần

Hạn chế chính của mô hình này là việc vô hiệu hoá một nút là vấn đề hoàn toàn hoặc không có gì xảy ra: khi một phần phụ thuộc thay đổi, nút phụ thuộc luôn được tạo lại từ đầu, ngay cả khi có một thuật toán tốt hơn sẽ làm thay đổi giá trị cũ của nút dựa trên các thay đổi. Sau đây là một số ví dụ hữu ích:

• Liên kết gia tăng
• Khi một tệp lớp đơn thay đổi trong tệp JAR, bạn có thể sửa đổi tệp JAR tại chỗ thay vì tạo lại tệp từ đầu.

Có 2 lý do khiến Bazel không hỗ trợ những việc này theo nguyên tắc:

• Hiệu suất tăng lên rất hạn chế.
• Khó xác thực rằng kết quả của quá trình đột biến cũng giống như kết quả của quá trình xây dựng lại sạch và các giá trị của Google các bản dựng có thể lặp lại từng bit.

Cho đến nay, bạn có thể đạt được hiệu suất đủ tốt bằng cách phân tách một bước xây dựng tốn kém và đạt được quy trình đánh giá lại một phần theo cách đó. Ví dụ: trong ứng dụng Android, bạn có thể chia tất cả các lớp thành nhiều nhóm và tạo tệp dex cho các lớp đó. Bằng cách này, nếu các lớp trong một nhóm không thay đổi, thì bạn không cần phải làm lại quá trình tạo tệp dex.

Liên kết với các khái niệm Bazel

Đây là bản tóm tắt cấp cao về các phương thức triển khai chính SkyFunction và SkyValue mà Bazel sử dụng để thực hiện một bản dựng:

• FileStateValue. Kết quả của lstat(). Đối với các tệp hiện có, hàm này cũng tính toán thêm thông tin để phát hiện các thay đổi đối với tệp. Đây là nút cấp thấp nhất trong biểu đồ Skyframe và không có phần phụ thuộc.
• FileValue. Được sử dụng cho những ai quan tâm đến nội dung thực tế hoặc đường dẫn đã phân giải của một tệp. Phụ thuộc vào FileStateValue tương ứng và mọi đường liên kết tượng trưng cần được phân giải (chẳng hạn như FileValue cho a/b cần đường dẫn đã phân giải của a và đường dẫn đã phân giải của a/b). Sự khác biệt giữa FileValue và FileStateValue là rất quan trọng vì có thể dùng đường liên kết trong trường hợp nội dung của tệp không thực sự cần thiết. Ví dụ: nội dung tệp không liên quan khi đánh giá các lỗi hệ thống tệp (chẳng hạn như srcs=glob(["*/*.java"])).
• DirectoryListingStateValue. Kết quả của readdir(). Giống như FileStateValue, đây là nút cấp thấp nhất và không có phần phụ thuộc.
• DirectoryListingValue. Được sử dụng bởi những ứng dụng quan tâm đến các mục nhập của một thư mục. Phụ thuộc vào DirectoryListingStateValue tương ứng, cũng như FileValue được liên kết của thư mục.
• PackageValue (Giá trị gói). Đại diện cho phiên bản đã phân tích cú pháp của tệp BUILD. Phụ thuộc vào FileValue của tệp BUILD được liên kết, cũng như theo cách bắc cầu bất kỳ DirectoryListingValue nào được dùng để phân giải các khối cầu nhỏ trong gói (cấu trúc dữ liệu biểu thị nội dung của tệp BUILD trong nội bộ).
• ConfiguredTargetValue. Đại diện cho mục tiêu đã định cấu hình, là một tập hợp gồm tập hợp các hành động được tạo trong quá trình phân tích một mục tiêu và thông tin được cung cấp cho các mục tiêu được định cấu hình phụ thuộc. Tuỳ thuộc vào PackageValue có mục tiêu tương ứng, ConfiguredTargetValues của các phần phụ thuộc trực tiếp và một nút đặc biệt đại diện cho cấu hình bản dựng.
• ArtifactValue. Đại diện cho một tệp trong bản dựng, có thể là cấu phần phần mềm nguồn hoặc cấu phần phần mềm đầu ra. Cấu phần phần mềm gần như tương đương với tệp và được dùng để tham chiếu đến các tệp trong quá trình thực thi thực tế các bước tạo bản dựng. Các tệp nguồn phụ thuộc vào FileValue của nút được liên kết, và các cấu phần phần mềm đầu ra phụ thuộc vào ActionExecutionValue của bất kỳ hành động nào tạo ra cấu phần phần mềm.
• ActionExecutionValue. Biểu thị quá trình thực thi một hành động. Phụ thuộc vào ArtifactValues của các tệp đầu vào. Hành động mà lớp này thực thi nằm trong SkyKey của nó, trái ngược với khái niệm SkyKeys nên có kích thước nhỏ. Lưu ý ActionExecutionValue và ArtifactValue không được dùng nếu giai đoạn thực thi không chạy.

Như một trợ giúp trực quan, sơ đồ này cho thấy mối quan hệ giữa các hoạt động triển khai SkyFunction sau một bản dựng của chính Bazel: