1. Repositorio Institucional del Tecnológico Nacional de México (RI - TecNM)
2. Tesis de Posgrado
3. Guanajuato
4. Instituto Tecnológico de León (Posgrado)
5. Tesis de Maestría
6. Maestría en Ciencias de la Computación

Title:	ESTRATEGIA PARA ACELERAR EL ENTRENAMIENTO DE REDES NEURONALES PROFUNDAS
Authors:	AVALOS LOPEZ, JORGE IVAN%1006169
metadata.dc.subject.other:	Aprendizaje automático Aprendizaje profundo Redes neuronales profundas Redes neuronales (Computación) Métodos de entrenamiento Inteligencia artificial Inteligencia computacional
Issue Date:	2021-08-19
Publisher:	Tecnológico Nacional de México
metadata.dc.publisher.tecnm:	Instituto Tecnológico de León
Description:	El presente trabajo muestra el desarrollo de una propuesta para acelerar el entrenamiento de una red neuronal profunda, específicamente el acelerar el entrenamiento de una red neuronal convolucional para tareas de clasificación de imágenes. Se expone la estrategia propuesta llamada: "Muestreo adaptativo para el aprendizaje profundo" (AS en sus siglas en ingles); esta propuesta es una estrategia que extrapola a la técnica de muestreo adaptativo mediante información colateral a modelos de aprendizaje profundo; específicamente, la contribución de este trabajo es la formulación de una distribución de probabilidad sobre las instancias de entrenamiento que minimice la varianza de las normas de los gradientes con respecto a la función de pérdida de la red. Así mismo, la formulación del problema se presenta de forma consistente y se da un formalismo matemático adecuado. Para comprobar y observar el comportamiento de la propuesta, se experimentó con el entrenamiento de una red neuronal convolucional sobre la base de datos MNIST. AS se comparó contra dos esquemas de muestreo de datos: muestreo uniforme (el entrenamiento estándar) y selección de lotes en línea. AS logró un mejoramiento en la convergencia de la función de costo (que esto se traduce en una aceleración del entrenamiento) entre 2 y 4 órdenes de magnitud en comparativa con default random con tamaños de lote 64, 256 y 1024 usando el optimizador Adadelta; usando el optimizador Adam, AS mostró una mejora de convergencia de 1 y 2 órdenes de magnitud con los tamaños de lote 256 y 1024. En la comparativa de AS y OBS, AS mostró una mejora de convergencia de 0.78, 0.2 y 0.92 para tamaños de lote 64, 256 y 1024 usando Adadelta; usando Adam, AS logra un rendimiento similar para tamaños de lote 256 y 1024.
metadata.dc.type:	info:eu-repo/semantics/masterThesis
Appears in Collections:	Maestría en Ciencias de la Computación

This item is protected by original copyright View License

This item is licensed under a Creative Commons License