Runtime 1.1
Microsoft Fabric Runtime es una plataforma integrada de Azure basada en Apache Spark que permite la ejecución y administración de las experiencias de ingeniería de datos y ciencia de datos en Fabric. En este documento se describen los componentes y versiones de Fabric Runtime 1.1.
Advertencia
La fecha de finalización del soporte técnico para Runtime 1.1 se ha anunciado para el 12 de julio de 2024. Runtime 1.1, basado en Apache Spark 3.3, quedará en desuso y se inhabilitará a partir del 31 de marzo de 2025. Actualice el área de trabajo y los entornos a Runtime 1.2 o Runtime 1.3. Para consultar el ciclo de vida completo y las directivas de soporte técnico de los Runtime de Apache Spark, consulte Ciclo de vida de los Runtime de Apache Spark en Fabric.
Microsoft Fabric Runtime 1.1 es uno de los entornos de ejecución que se ofrecen en la plataforma de Microsoft Fabric. Los componentes principales del runtime 1.1 son:
- Apache Spark 3.3
- Sistema operativo: Ubuntu 18.04
- Java: 1.8.0_282
- Scala: 2.12.15
- Python: 3.10
- Delta Lake: 2.2
- R: 4.2.2
Sugerencia
Use siempre la versión en tiempo de ejecución de disponibilidad general más reciente para la carga de trabajo de producción, que actualmente es Runtime 1.2.
Microsoft Fabric Runtime 1.1 incluye una colección de paquetes de nivel predeterminados, incluida una instalación completa de Anaconda y bibliotecas de uso frecuente para Java/Scala, Python y R. Estas bibliotecas se incluyen automáticamente al usar cuadernos o trabajos en la plataforma Microsoft Fabric. Consulte la documentación para obtener una lista completa de bibliotecas.
Microsoft Fabric publica periódicamente versiones de mantenimiento de Runtime 1.1 que incluyen correcciones de errores, mejoras de rendimiento y revisiones de seguridad. Asegurarse de mantenerse al día con estas actualizaciones garantiza un rendimiento y una confiabilidad óptimos para las tareas de procesamiento de datos. Si actualmente usa Runtime 1.1, puede actualizar a Runtime 1.2; para ello, vaya a Configuración del área de trabajo > Ingeniería de datos / Ciencia > Configuración de Spark.
Nuevas características y mejoras: Apache Spark 3.3.1
Lea la versión completa de las notas de la versión de una versión específica de Apache Spark visitando Spark 3.3.0 y Spark 3.3.1.
Nuevas características y mejoras : Delta Lake 2.2
Consulte las notas de la versión completa y origen en Delta Lake 2.2.0.
Paquetes predeterminados para Java/Scala
Para obtener una lista de todos los paquetes de nivel predeterminados para Java, Scala, Python y sus respectivas versiones, consulte las notas de la versión.
Migración entre diferentes versiones de Apache Spark
La migración de las cargas de trabajo a Fabric Runtime 1.1 (Apache Spark 3.3) desde una versión anterior de Apache Spark implica una serie de pasos para garantizar una migración fluida. En esta guía se describen los pasos necesarios para ayudarle a migrar de forma eficiente y eficaz.
Revise las notas de la versión de Fabric Runtime 1.1, incluida la comprobación de los componentes y los paquetes de nivel predeterminado incluidos en el entorno de ejecución, para comprender las nuevas características y mejoras.
Compruebe la compatibilidad de la configuración actual y todas las bibliotecas relacionadas, incluidas las dependencias e integraciones. Revise las guías de migración para identificar posibles cambios importantes:
- Revisión de la guía de migración de Spark Core.
- Revisión de la guía de migración de SQL, Conjuntos de datos y DataFrame.
- Si la solución está relacionada con Apache Spark Structure Streaming, consulte la guía de migración de Structured Streaming.
- Si usas PySpark, revisa la guía de migración de Pyspark.
- Si migra código de Koalas a PySpark, revise laguía de migración de Koalas a la API de pandas en Spark.
Mueva las cargas de trabajo a Fabric y asegúrese de que tiene copias de seguridad de los archivos de datos y configuración en caso de que tenga que revertir a la versión anterior.
Actualice las dependencias que puedan afectar a la nueva versión de Apache Spark u otros componentes relacionados con Fabric Runtime 1.1, incluidas las bibliotecas o conectores de terceros. Asegúrese de probar las dependencias actualizadas en un entorno de ensayo antes de realizar la implementación en producción.
Actualice la configuración de Apache Spark en la carga de trabajo, incluida la actualización de las opciones de configuración, el ajuste de las asignaciones de memoria y la modificación de las configuraciones en desuso.
Modifique las aplicaciones de Apache Spark (cuadernos y definiciones de trabajos de Apache Spark) para usar las nuevas API y características introducidas en Fabric Runtime 1.1 y Apache Spark 3.3. Es posible que tenga que actualizar el código para dar cabida a las API en desuso o eliminadas, y refactorizar las aplicaciones para aprovechar las mejoras de rendimiento y las nuevas funcionalidades.
Pruebe exhaustivamente las aplicaciones actualizadas en un entorno de ensayo para garantizar la compatibilidad y la estabilidad con Apache Spark 3.3. Realice pruebas de rendimiento, pruebas funcionales y pruebas de regresión para identificar y resolver los problemas que puedan surgir durante el proceso de migración.
Después de validar las aplicaciones en un entorno de ensayo, implemente las aplicaciones actualizadas en el entorno de producción. Supervise el rendimiento y la estabilidad de las aplicaciones después de la migración para identificar los problemas que deben solucionarse.
Actualice la documentación interna y los materiales de entrenamiento para reflejar los cambios introducidos en Fabric Runtime 1.1. Asegúrese de que los miembros del equipo estén familiarizados con las nuevas características y mejoras para maximizar las ventajas de la migración.