Paralelización de simulaciones de autoescalado de workflows científicos en Cloud

LUCIANO ROBINO; YISEL GARÍ; ELINA PACINI; CRISTIAN MATEOS

San Rafael

Encuentro; Décimo Segundo Encuentro de Investigadores y Docentes de Ingeniería EnIDI 2023; 2023

UTN San Rafael

Los workflows científicos constituyen una herramienta de abstracción que permite a los científicos desarrollar soluciones a problemas de modelado y cálculo sin tener que adentrarse en el know-how de las áreas computacionales. Sin embargo, los workflows imponen requerimientos computacionales que deben satisfacerse con una infraestructura elástica a demanda. Por ello, muchas aplicaciones científicas de gran escala que se modelan mediante workflows utilizan infraestructuras Cloud. Un Cloud ofrece diferentes recursos de cómputo bajo un esquema de pago-por-uso según las necesidades del usuario. Por lo anterior, resulta de interés desarrollar autoescaladores capaces de modificar de manera dinámica la infraestructura contratada, buscando optimizar tanto el tiempo como el costo asociado a la ejecución de los workflows. Como se ha mosrtado, una forma de abordar este problema es mediante técnicas de Aprendizaje por Refuerzo (AR). Además, debido a que los tiempos de ejecución de un workflow científico pueden oscilar entre semanas a meses, el entrenamiento de políticas por medio de AR requeriría mucho tiempo para ser realizado en infraestructuras Cloud reales. Por este motivo, se hace imperioso recurrir a simuladores que permitan acelerar los tiempos de ejecución. Si bien el uso de simuladores acelera el proceso de entrenamiento, la cantidad de simulaciones necesarias para pruebas empíricas estadísticamente significativas hace que este entrenamiento pueda demorar hasta varios días. Por lo tanto, para acelerar el proceso de entrenamiento es conveniente paralelizar el entrenamiento de las políticas de AR y así obtener los resultados dentro de plazos de tiempo razonables. En el presente trabajo se propone una aplicación que paraleliza la ejecución de simulaciones de autoescalado de workflows en Cloud en un clúster computacional. Los resultados obtenidos muestran que para cálculos en ejecución secuencial que demoran alrededor de 20 minutos, el tiempo de ejecución en paralelo se reduce a unos pocos segundos.