Skyframe

Informar un problema Ver código fuente

Nightly · 9.0 · 8.6 · 8.5 · 8.4 · 8.3 · 8.2 · 7.7

El modelo de evaluación paralela y de incrementalidad de Bazel.

Modelo de datos

El modelo de datos consta de los siguientes elementos:

• SkyValue. También llamados nodos. SkyValues son objetos inmutables que contienen todos los datos compilados durante la compilación y las entradas de la compilación. Algunos ejemplos son los archivos de entrada, los archivos de salida, los destinos y los destinos configurados.
• SkyKey. Un nombre inmutable corto para hacer referencia a un SkyValue, por ejemplo, FILECONTENTS:/tmp/foo o PACKAGE://foo.
• SkyFunction. Compila nodos en función de sus claves y nodos dependientes.
• Gráfico de nodos. Una estructura de datos que contiene la relación de dependencia entre los nodos.
• Skyframe. Nombre de código para el framework de evaluación incremental en el que se basa Bazel.

Evaluación

Una compilación se logra evaluando el nodo que representa la solicitud de compilación.

Primero, Bazel encuentra el SkyFunction correspondiente a la clave del de nivel superiorSkyKey. Luego, la función solicita la evaluación de los nodos que necesita para evaluar el nodo de nivel superior, lo que, a su vez, genera otras llamadas a SkyFunction, hasta que se alcanzan los nodos hoja. Por lo general, los nodos hoja son los que representan archivos de entrada en el sistema de archivos. Por último, Bazel termina con el valor del nivel superior SkyValue, algunos efectos secundarios (como archivos de salida en el sistema de archivos) y un gráfico acíclico dirigido de las dependencias entre los nodos involucrados en la compilación.

Un SkyFunction puede solicitar SkyKeys en varias pasadas si no puede indicar con anticipación todos los nodos que necesita para hacer su trabajo. Un ejemplo simple es evaluar un nodo de archivo de entrada que resulta ser un vínculo simbólico: la función intenta leer el archivo, se da cuenta de que es un vínculo simbólico y, por lo tanto, recupera el nodo del sistema de archivos que representa el destino del vínculo simbólico. Pero eso en sí mismo puede ser un vínculo simbólico, en cuyo caso la función original también deberá recuperar su destino.

Las funciones se representan en el código mediante la interfaz SkyFunction y los servicios que le proporciona una interfaz llamada SkyFunction.Environment. Estas son las acciones que pueden realizar las funciones:

• Solicitar la evaluación de otro nodo llamando a env.getValue. Si el nodo está disponible, se muestra su valor; de lo contrario, se muestra null y se espera que la función muestre null. En este último caso, se evalúa el nodo dependiente y, luego, se vuelve a invocar el compilador de nodos original, pero esta vez la misma llamada a env.getValue mostrará un valor no null.
• Solicitar la evaluación de varios nodos llamando a env.getValues(). Esto hace esencialmente lo mismo, excepto que los nodos dependientes se evalúan en paralelo.
• Realizar cálculos durante su invocación
• Tener efectos secundarios, por ejemplo, escribir archivos en el sistema de archivos. Se debe tener cuidado para que dos funciones diferentes no se superpongan. En general, los efectos secundarios de escritura (en los que los datos fluyen hacia afuera de Bazel) son aceptables, mientras que los efectos secundarios de lectura (en los que los datos fluyen hacia adentro de Bazel sin una dependencia registrada) no lo son, ya que son una dependencia no registrada y, como tal, pueden causar compilaciones incrementales incorrectas.

Las implementaciones de SkyFunction bien definidas evitan acceder a los datos de cualquier otra forma que no sea solicitar dependencias (como leer directamente el sistema de archivos), ya que esto hace que Bazel no registre la dependencia de datos en el archivo que se leyó, lo que genera compilaciones incrementales incorrectas.

Una vez que una función tiene suficientes datos para hacer su trabajo, debe mostrar un valor no null que indique que se completó.

Esta estrategia de evaluación tiene varios beneficios:

• Hermeticidad. Si las funciones solo solicitan datos de entrada dependiendo de otros nodos, Bazel puede garantizar que, si el estado de entrada es el mismo, se mostrarán los mismos datos. Si todas las funciones de Sky son deterministas, esto significa que toda la compilación también será determinista.
• Incrementalidad correcta y perfecta. Si se registran todos los datos de entrada de todas las funciones, Bazel puede invalidar solo el conjunto exacto de nodos que deben invalidarse cuando cambian los datos de entrada.
• Paralelismo. Dado que las funciones solo pueden interactuar entre sí solicitando dependencias, las funciones que no dependen entre sí se pueden ejecutar en paralelo, y Bazel puede garantizar que el resultado es el mismo que si se ejecutaran de forma secuencial.

Incrementalidad

Dado que las funciones solo pueden acceder a los datos de entrada dependiendo de otros nodos, Bazel puede crear un gráfico de flujo de datos completo desde los archivos de entrada hasta los archivos de salida y usar esta información para volver a compilar solo los nodos que realmente necesitan volver a compilarse: el cierre transitivo inverso del conjunto de archivos de entrada modificados.

En particular, existen dos estrategias de incrementalidad posibles: la ascendente y la descendente. La que es óptima depende de cómo se vea el gráfico de dependencias.

• Durante la invalidación ascendente, después de que se compila un gráfico y se conoce el conjunto de entradas modificadas, se invalidan todos los nodos que dependen de forma transitiva de los archivos modificados. Esto es óptimo si se vuelve a compilar el mismo nodo de nivel superior Ten en cuenta que la invalidación ascendente requiere ejecutar stat() en todos los archivos de entrada de la compilación anterior para determinar si se modificaron. Esto se puede mejorar usando inotify o un mecanismo similar para obtener información sobre los archivos modificados.

• Durante la invalidación descendente, se verifica el cierre transitivo del nodo de nivel superior y solo se conservan aquellos nodos cuyo cierre transitivo está limpio. Esto es mejor si el gráfico de nodos es grande, pero la siguiente compilación solo necesita un pequeño subconjunto de él: la invalidación ascendente invalidaría el gráfico más grande de la primera compilación, a diferencia de la invalidación descendente, que solo recorre el gráfico pequeño de la segunda compilación.

Bazel solo realiza la invalidación ascendente.

Para obtener más incrementalidad, Bazel usa la poda de cambios: si se invalida un nodo, pero, cuando se vuelve a compilar, se descubre que su valor nuevo es el mismo que el anterior, los nodos que se invalidaron debido a un cambio en este nodo se "resucitan".

Esto es útil, por ejemplo, si se cambia un comentario en un archivo C++: entonces, el .o archivo que se genera a partir de él será el mismo, por lo que no es necesario volver a llamar a l vinculador.

Vinculación / compilación incremental

La principal limitación de este modelo es que la invalidación de un nodo es una cuestión de todo o nada: cuando cambia una dependencia, el nodo dependiente siempre se vuelve a compilar desde cero, incluso si existiera un algoritmo mejor que mutara el valor anterior del nodo en función de los cambios. Estos son algunos ejemplos en los que esto sería útil:

• Vinculación incremental
• Cuando cambia un solo archivo de clase en un archivo JAR, es posible modificar el archivo JAR en su lugar en lugar de volver a compilarlo desde cero.

El motivo por el que Bazel no admite estas acciones de manera fundamentada es doble:

• Hubo ganancias de rendimiento limitadas.
• Es difícil validar que el resultado de la mutación sea el mismo que el de una recompilación limpia, y Google valora las compilaciones que se pueden repetir bit por bit.

Hasta ahora, era posible lograr un rendimiento lo suficientemente bueno descomponiendo un paso de compilación costoso y logrando una reevaluación parcial de esa manera. Por ejemplo, en una app para Android, puedes dividir todas las clases en varios grupos y dex los por separado. De esta manera, si las clases de un grupo no cambian, no es necesario volver a realizar el dexing.

Asignación a conceptos de Bazel

Este es un resumen de alto nivel de las implementaciones clave de SkyFunction y SkyValue que usa Bazel para realizar una compilación:

• FileStateValue. El resultado de un lstat(). En el caso de los archivos existentes, la función también calcula información adicional para detectar cambios en el archivo. Este es el nodo de nivel más bajo en el gráfico de Skyframe y no tiene dependencias.
• FileValue. Lo usa todo lo que se preocupa por el contenido real o la ruta de acceso resuelta de un archivo. Depende del FileStateValue correspondiente y de cualquier vínculo simbólico que deba resolverse (como el FileValue de a/b necesita la ruta de acceso resuelta de a y la ruta de acceso resuelta de a/b). La distinción entre FileValue y FileStateValue es importante porque esta última se puede usar en los casos en los que no se necesita el contenido del archivo. Por ejemplo, el contenido del archivo es irrelevante cuando se evalúan los globs del sistema de archivos (como srcs=glob(["*/*.java"])).
• DirectoryListingStateValue. El resultado de readdir(). Al igual que FileStateValue, este es el nodo de nivel más bajo y no tiene dependencias.
• DirectoryListingValue. Lo usa todo lo que se preocupa por las entradas de un directorio. Depende del DirectoryListingStateValue correspondiente, así como del FileValue asociado del directorio.
• PackageValue. Representa la versión analizada de un archivo BUILD. Depende de la FileValue del archivo BUILD asociado y, también, de forma transitiva en cualquier DirectoryListingValue que se use para resolver los globs en el paquete (la estructura de datos que representa el contenido de un archivo BUILD de forma interna).
• ConfiguredTargetValue. Representa un destino configurado, que es una tupla del conjunto de acciones generadas durante el análisis de un destino y la información proporcionada a los destinos configurados dependientes. Depende del PackageValue en el que se encuentra el destino correspondiente, los ConfiguredTargetValues de las dependencias directas y un nodo especial que representa la compilación configuración.
• ArtifactValue. Representa un archivo en la compilación, ya sea una fuente o un artefacto de salida. Los artefactos son casi equivalentes a los archivos y se usan para hacer referencia a los archivos durante la ejecución real de los pasos de compilación. Los archivos fuente dependen del FileValue del nodo asociado, y los artefactos de salida dependen del ActionExecutionValue de cualquier acción que genere el artefacto.
• ActionExecutionValue. Representa la ejecución de una acción. Depende de los ArtifactValues de sus archivos de entrada. La acción que ejecuta se encuentra dentro de su SkyKey, lo que es contrario al concepto de que las SkyKeys deben ser pequeñas. Ten en cuenta que ActionExecutionValue y ArtifactValue no se usan si no se ejecuta la fase de ejecución.

Como ayuda visual, este diagrama muestra las relaciones entre las implementaciones de SkyFunction después de una compilación de Bazel: