Please use this identifier to cite or link to this item:
https://rinacional.tecnm.mx/jspui/handle/TecNM/5520Full metadata record
| DC Field | Value | Language |
|---|---|---|
| dc.contributor.author | AVALOS LOPEZ, JORGE IVAN%1006169 | - |
| dc.creator | AVALOS LOPEZ, JORGE IVAN%1006169 | - |
| dc.date.accessioned | 2023-03-31T03:04:48Z | - |
| dc.date.available | 2023-03-31T03:04:48Z | - |
| dc.date.issued | 2021-08-19 | - |
| dc.identifier.uri | https://rinacional.tecnm.mx/jspui/handle/TecNM/5520 | - |
| dc.description | El presente trabajo muestra el desarrollo de una propuesta para acelerar el entrenamiento de una red neuronal profunda, específicamente el acelerar el entrenamiento de una red neuronal convolucional para tareas de clasificación de imágenes. Se expone la estrategia propuesta llamada: "Muestreo adaptativo para el aprendizaje profundo" (AS en sus siglas en ingles); esta propuesta es una estrategia que extrapola a la técnica de muestreo adaptativo mediante información colateral a modelos de aprendizaje profundo; específicamente, la contribución de este trabajo es la formulación de una distribución de probabilidad sobre las instancias de entrenamiento que minimice la varianza de las normas de los gradientes con respecto a la función de pérdida de la red. Así mismo, la formulación del problema se presenta de forma consistente y se da un formalismo matemático adecuado. Para comprobar y observar el comportamiento de la propuesta, se experimentó con el entrenamiento de una red neuronal convolucional sobre la base de datos MNIST. AS se comparó contra dos esquemas de muestreo de datos: muestreo uniforme (el entrenamiento estándar) y selección de lotes en línea. AS logró un mejoramiento en la convergencia de la función de costo (que esto se traduce en una aceleración del entrenamiento) entre 2 y 4 órdenes de magnitud en comparativa con default random con tamaños de lote 64, 256 y 1024 usando el optimizador Adadelta; usando el optimizador Adam, AS mostró una mejora de convergencia de 1 y 2 órdenes de magnitud con los tamaños de lote 256 y 1024. En la comparativa de AS y OBS, AS mostró una mejora de convergencia de 0.78, 0.2 y 0.92 para tamaños de lote 64, 256 y 1024 usando Adadelta; usando Adam, AS logra un rendimiento similar para tamaños de lote 256 y 1024. | es_MX |
| dc.language.iso | spa | es_MX |
| dc.publisher | Tecnológico Nacional de México | es_MX |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0 | es_MX |
| dc.subject | info:eu-repo/classification/cti/7 | es_MX |
| dc.subject.other | Aprendizaje automático | es_MX |
| dc.subject.other | Aprendizaje profundo | es_MX |
| dc.subject.other | Redes neuronales profundas | es_MX |
| dc.subject.other | Redes neuronales (Computación) | es_MX |
| dc.subject.other | Métodos de entrenamiento | es_MX |
| dc.subject.other | Inteligencia artificial | es_MX |
| dc.subject.other | Inteligencia computacional | es_MX |
| dc.title | ESTRATEGIA PARA ACELERAR EL ENTRENAMIENTO DE REDES NEURONALES PROFUNDAS | es_MX |
| dc.type | info:eu-repo/semantics/masterThesis | es_MX |
| dc.contributor.director | ROJAS DOMINGUEZ, ALFONSO%40620 | - |
| dc.folio | TecNM-ITL_MCC-007 | es_MX |
| dc.rights.access | info:eu-repo/semantics/openAccess | es_MX |
| dc.publisher.tecnm | Instituto Tecnológico de León | es_MX |
| Appears in Collections: | Maestría en Ciencias de la Computación | |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| 007.-TESIS-COMPLETA_JORGE-IVÁN-ÁVALOS-LÓPEZ.pdf | Estrategias para acelerar el entrenamiento de redes neuronales profundas - Tesis 007 de MCC del ITL | 3.28 MB | Adobe PDF | View/Open |
This item is protected by original copyright |
This item is licensed under a Creative Commons License
