Paralelización de simulaciones de autoescalado de workflows científicos en Cloud

LUCIANO ROBINO; YISEL GARI; ELINA PACINI; CRISTIAN MATEOS

San Rafael, Mendoza

Encuentro; XII Encuentro de Investigadores y Docentes de Ingeniería ENIDI 2023; 2023

UTN - UNCUyo - UM

Los workflows científicos constituyen una herramienta de abstracción que permite a los científicosdesarrollar soluciones a problemas de modelado y cálculo sin tener que adentrarse en el know-how delas áreas computacionales. Sin embargo, los workflows imponen requerimientos computacionales quedeben satisfacerse con una infraestructura elástica a demanda. Por ello, muchas aplicacionescientíficas de gran escala que se modelan mediante workflows utilizan infraestructuras Cloud. UnCloud ofrece diferentes recursos de cómputo bajo un esquema de pago-por-uso según las necesidadesdel usuario. Por lo anterior, resulta de interés desarrollar autoescaladores capaces de modificar demanera dinámica la infraestructura contratada, buscando optimizar tanto el tiempo como el costoasociado a la ejecución de los workflows. Como se ha mostrado, una forma de abordar este problemaes mediante técnicas de Aprendizaje por Refuerzo (AR). Dado que los tiempos de ejecución de unworkflow científico pueden oscilar entre semanas a meses y que el entrenamiento de políticas pormedio de AR requiere muchas ejecuciones de workflows, realizar este entrenamiento eninfraestructuras Cloud reales llevaría mucho tiempo. Por este motivo, se hace imperioso recurrir asimuladores que permitan acelerar los tiempos de ejecución. Si bien el uso de simuladores acelera elproceso de entrenamiento, la cantidad de simulaciones necesarias para pruebas empíricasestadísticamente significativas hace que este entrenamiento pueda demorar hasta varios días. Por lotanto, para acelerar el proceso de entrenamiento es conveniente paralelizar el entrenamiento de laspolíticas de AR y así obtener los resultados dentro de plazos de tiempo razonables. En el presentetrabajo se propone una aplicación que paraleliza en el cluster Toko de la Universidad Nacional deCuyo la ejecución de simulaciones de autoescalado de workflows en Cloud computacional. Losresultados obtenidos muestran que para cálculos en ejecución secuencial que demoran alrededor de 20minutos, el tiempo de ejecución en paralelo se reduce a unos pocos segundos.