Algoritmo Iterativo Multitarea con un Enforque de Teoría de Información

MATÍAS ALEJANDRO VERA; LEONARDO REY VEGA; PABLO PIANTANIDA

Mar del Plata

Congreso; XVII Reunión de Trabajo en Procesamiento de la Información y Control; 2017

Dada una cantidad finita de tareas posibles, sedesea diseñar un algoritmo que, a partir de una codificaciónde la fuente, funcione correctamente para cualquiera de dichastareas. Se analizará el problema de aprendizaje multitarea desdeel punto de vista de teoría de información. Este trabajo estádirectamente inspirado en la teoría de Rate-Distortion para unadistorsión log-loss, la cual comparte raíces comunes con eldenominado Information Bottleneck. Se presenta un análisis dela relación de compromiso entre la relevancia de la informacióna transmitir y la tasa de compresión de la misma. Se obtieneun algoritmo iterativo para calcular el codificador óptimo.Finalmente, el algoritmo se ilustra con ejemplos y un escenario deaplicación en el contexto de la clasificación jerárquica de textos.