Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales

RESUMEN : Abordar el problema del olvido catastrófico en redes neuronales artificiales (ANNs), es crucial en la liberación de su potencial para adaptarse y aprender continuamente en diferentes contextos y dominios sin perder el conocimiento previamente aprendido. Mitigarlo puede convertir a las ANNs...

Full description

Autores:
Campaña Rosero, Jairo David
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2023
Institución:
Universidad de Antioquia
Repositorio:
Repositorio UdeA
Idioma:
spa
OAI Identifier:
oai:bibliotecadigital.udea.edu.co:10495/35601
Acceso en línea:
https://hdl.handle.net/10495/35601
Palabra clave:
Redes Neurales de la Computación
Neural Networks, Computer
Pruebas Neuropsicológicas
Neuropsychological Tests
Aprendizaje a lo largo de la vida
Lifelong learning
Machine Learning
Computación neural y evolutiva
http://vocabularies.unesco.org/thesaurus/concept1488
Rights
openAccess
License
http://creativecommons.org/licenses/by-nc-sa/2.5/co/
id UDEA2_ffdd4935f996899e49d7cfaecb37d2d9
oai_identifier_str oai:bibliotecadigital.udea.edu.co:10495/35601
network_acronym_str UDEA2
network_name_str Repositorio UdeA
repository_id_str
dc.title.spa.fl_str_mv Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales
title Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales
spellingShingle Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales
Redes Neurales de la Computación
Neural Networks, Computer
Pruebas Neuropsicológicas
Neuropsychological Tests
Aprendizaje a lo largo de la vida
Lifelong learning
Machine Learning
Computación neural y evolutiva
http://vocabularies.unesco.org/thesaurus/concept1488
title_short Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales
title_full Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales
title_fullStr Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales
title_full_unstemmed Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales
title_sort Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales
dc.creator.fl_str_mv Campaña Rosero, Jairo David
dc.contributor.advisor.none.fl_str_mv Salazar Jiménez, Augusto Enrique
dc.contributor.author.none.fl_str_mv Campaña Rosero, Jairo David
dc.subject.decs.none.fl_str_mv Redes Neurales de la Computación
Neural Networks, Computer
Pruebas Neuropsicológicas
Neuropsychological Tests
topic Redes Neurales de la Computación
Neural Networks, Computer
Pruebas Neuropsicológicas
Neuropsychological Tests
Aprendizaje a lo largo de la vida
Lifelong learning
Machine Learning
Computación neural y evolutiva
http://vocabularies.unesco.org/thesaurus/concept1488
dc.subject.unesco.none.fl_str_mv Aprendizaje a lo largo de la vida
Lifelong learning
dc.subject.proposal.spa.fl_str_mv Machine Learning
Computación neural y evolutiva
dc.subject.unescouri.none.fl_str_mv http://vocabularies.unesco.org/thesaurus/concept1488
description RESUMEN : Abordar el problema del olvido catastrófico en redes neuronales artificiales (ANNs), es crucial en la liberación de su potencial para adaptarse y aprender continuamente en diferentes contextos y dominios sin perder el conocimiento previamente aprendido. Mitigarlo puede convertir a las ANNs en sistemas óptimos y versátiles. Este estudio realiza un análisis comparativo de dos estrategias de aprendizaje continuo bio-inspiradas en la plasticidad sináptica: Learning to Continually Learn (LCL) y Continual Learning Through Synaptic Intelligence (SI). Estas estrategias buscan mitigar el problema del olvido catastrófico en el contexto de clasificación de imágenes. La investigación evalúa y contrasta las capacidades de LCL y SI para permitirle a las ANNs aprender continuamente en múltiples tareas y dominios. Los resultados experimentales muestran como las estrategias se desempeñan en tres escenarios. Pese a su baja capacidad de representación, la estrategia LCL muestra comportamientos interesantes, como tasas de olvido relativamente bajas, permitiéndole aprender nuevas clases o instancias sin afectar negativamente las previamente aprendidas. Por otro lado, la estrategia SI presentó problemas graves de olvido catastrófico al aprender nuevas clases. Esta investigación ofrece información valiosa sobre el comportamiento de las estrategias LCL y SI, basadas en la plasticidad sináptica, para abordar el problema del olvido catastrófico en las ANNs. Las implicaciones de estos resultados destacan la importancia de investigaciones y desarrollos adicionales, para refinar las estrategias de aprendizaje continuo y ampliar su impacto potencial en diversas aplicaciones de inteligencia artificial. Este estudio contribuye a la búsqueda de modelos de aprendizaje más adaptables y eficientes.
publishDate 2023
dc.date.accessioned.none.fl_str_mv 2023-06-23T15:07:25Z
dc.date.available.none.fl_str_mv 2023-06-23T15:07:25Z
dc.date.issued.none.fl_str_mv 2023
dc.type.spa.fl_str_mv Tesis/Trabajo de grado - Monografía - Pregrado
dc.type.coar.spa.fl_str_mv http://purl.org/coar/resource_type/c_7a1f
dc.type.redcol.spa.fl_str_mv https://purl.org/redcol/resource_type/TP
dc.type.coarversion.spa.fl_str_mv http://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.driver.spa.fl_str_mv info:eu-repo/semantics/bachelorThesis
dc.type.version.spa.fl_str_mv info:eu-repo/semantics/draft
format http://purl.org/coar/resource_type/c_7a1f
status_str draft
dc.identifier.uri.none.fl_str_mv https://hdl.handle.net/10495/35601
url https://hdl.handle.net/10495/35601
dc.language.iso.spa.fl_str_mv spa
language spa
dc.rights.uri.*.fl_str_mv http://creativecommons.org/licenses/by-nc-sa/2.5/co/
dc.rights.uri.spa.fl_str_mv https://creativecommons.org/licenses/by-nc-sa/4.0/
dc.rights.accessrights.spa.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.spa.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-sa/2.5/co/
https://creativecommons.org/licenses/by-nc-sa/4.0/
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.extent.spa.fl_str_mv 80
dc.format.mimetype.spa.fl_str_mv application/pdf
dc.publisher.spa.fl_str_mv Universidad de Antioquia
dc.publisher.place.spa.fl_str_mv Medellín, Colombia
dc.publisher.faculty.spa.fl_str_mv Facultad de Ingeniería. Ingeniería de Sistemas
institution Universidad de Antioquia
bitstream.url.fl_str_mv https://bibliotecadigital.udea.edu.co/bitstreams/3a27f0a6-9ac3-4cec-8aeb-a715251dd2fc/download
https://bibliotecadigital.udea.edu.co/bitstreams/1b3195a3-748b-47c6-badd-cc528b12b888/download
https://bibliotecadigital.udea.edu.co/bitstreams/5b9da09e-5ed2-480e-834b-0dd611f27101/download
https://bibliotecadigital.udea.edu.co/bitstreams/ef082053-a4ed-4da6-a058-3bba8f6784da/download
https://bibliotecadigital.udea.edu.co/bitstreams/43c5de86-b190-444d-bb39-95199bcc96be/download
bitstream.checksum.fl_str_mv 389ecc6c080a5123db7f7bd691adbb24
e2060682c9c70d4d30c83c51448f4eed
8a4605be74aa9ea9d79846c1fba20a33
400b50ef54073cb2ecf68b719a906ec3
8658f4619827384e269841fef49f613a
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositorio Institucional de la Universidad de Antioquia
repository.mail.fl_str_mv aplicacionbibliotecadigitalbiblioteca@udea.edu.co
_version_ 1851052481228832768
spelling Salazar Jiménez, Augusto EnriqueCampaña Rosero, Jairo David2023-06-23T15:07:25Z2023-06-23T15:07:25Z2023https://hdl.handle.net/10495/35601RESUMEN : Abordar el problema del olvido catastrófico en redes neuronales artificiales (ANNs), es crucial en la liberación de su potencial para adaptarse y aprender continuamente en diferentes contextos y dominios sin perder el conocimiento previamente aprendido. Mitigarlo puede convertir a las ANNs en sistemas óptimos y versátiles. Este estudio realiza un análisis comparativo de dos estrategias de aprendizaje continuo bio-inspiradas en la plasticidad sináptica: Learning to Continually Learn (LCL) y Continual Learning Through Synaptic Intelligence (SI). Estas estrategias buscan mitigar el problema del olvido catastrófico en el contexto de clasificación de imágenes. La investigación evalúa y contrasta las capacidades de LCL y SI para permitirle a las ANNs aprender continuamente en múltiples tareas y dominios. Los resultados experimentales muestran como las estrategias se desempeñan en tres escenarios. Pese a su baja capacidad de representación, la estrategia LCL muestra comportamientos interesantes, como tasas de olvido relativamente bajas, permitiéndole aprender nuevas clases o instancias sin afectar negativamente las previamente aprendidas. Por otro lado, la estrategia SI presentó problemas graves de olvido catastrófico al aprender nuevas clases. Esta investigación ofrece información valiosa sobre el comportamiento de las estrategias LCL y SI, basadas en la plasticidad sináptica, para abordar el problema del olvido catastrófico en las ANNs. Las implicaciones de estos resultados destacan la importancia de investigaciones y desarrollos adicionales, para refinar las estrategias de aprendizaje continuo y ampliar su impacto potencial en diversas aplicaciones de inteligencia artificial. Este estudio contribuye a la búsqueda de modelos de aprendizaje más adaptables y eficientes.ABSTRACT : Addressing the catastrophic forgetting problem in artificial neural networks (ANNs), is essential for unlocking their potential to adapt and learn continuously across various contexts and domains without losing previously acquired knowledge. Mitigating this issue can transform ANNs into more optimal and versatile systems, enabling them to handle dynamic data efficiently and accurately. This study conducts a comparative analysis of two bio-inspired continuous learning strategies based on synaptic plasticity: Learning to Continually Learn (LCL) and Continual Learning Through Synaptic Intelligence (SI). These strategies aim to mitigate the catastrophic forgetting problem in the context of image classification tasks. The research evaluates and contrasts the ability of LCL and SI to enable ANNs to learn continuously across multiple tasks and domains. The experimental results demonstrate the performance of both strategies in three distinct scenarios. Despite its low representation capacity, the LCL strategy exhibits intriguing behaviors, such as relatively low forgetting rates, enabling it to learn new classes without negatively affecting previous ones. In contrast, the SI strategy encounters significant catastrophic forgetting issues when incorporating new classes. This investigation provides valuable insights into the behavior of LCL and SI strategies, based on synaptic plasticity, for addressing the catastrophic forgetting problem in ANNs. The implications of these findings emphasize the need for further research and development to refine continuous learning strategies, enhancing their potential impact across various artificial intelligence applications. The study contributes to the ongoing pursuit of more adaptable and efficient learning models.PregradoIngeniero de Sistemas80application/pdfspaUniversidad de AntioquiaMedellín, ColombiaFacultad de Ingeniería. Ingeniería de Sistemashttp://creativecommons.org/licenses/by-nc-sa/2.5/co/https://creativecommons.org/licenses/by-nc-sa/4.0/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificialesTesis/Trabajo de grado - Monografía - Pregradohttp://purl.org/coar/resource_type/c_7a1fhttps://purl.org/redcol/resource_type/TPhttp://purl.org/coar/version/c_b1a7d7d4d402bcceinfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/draftRedes Neurales de la ComputaciónNeural Networks, ComputerPruebas NeuropsicológicasNeuropsychological TestsAprendizaje a lo largo de la vidaLifelong learningMachine LearningComputación neural y evolutivahttp://vocabularies.unesco.org/thesaurus/concept1488PublicationORIGINALCampanaJairo_2023_RedesNeuronalesArtificiales.pdfCampanaJairo_2023_RedesNeuronalesArtificiales.pdfTrabajo de grado de pregradoapplication/pdf2654685https://bibliotecadigital.udea.edu.co/bitstreams/3a27f0a6-9ac3-4cec-8aeb-a715251dd2fc/download389ecc6c080a5123db7f7bd691adbb24MD54trueAnonymousREADCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81051https://bibliotecadigital.udea.edu.co/bitstreams/1b3195a3-748b-47c6-badd-cc528b12b888/downloade2060682c9c70d4d30c83c51448f4eedMD52falseAnonymousREADLICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://bibliotecadigital.udea.edu.co/bitstreams/5b9da09e-5ed2-480e-834b-0dd611f27101/download8a4605be74aa9ea9d79846c1fba20a33MD53falseAnonymousREADTEXTCampanaJairo_2023_RedesNeuronalesArtificiales.pdf.txtCampanaJairo_2023_RedesNeuronalesArtificiales.pdf.txtExtracted texttext/plain101309https://bibliotecadigital.udea.edu.co/bitstreams/ef082053-a4ed-4da6-a058-3bba8f6784da/download400b50ef54073cb2ecf68b719a906ec3MD55falseAnonymousREADTHUMBNAILCampanaJairo_2023_RedesNeuronalesArtificiales.pdf.jpgCampanaJairo_2023_RedesNeuronalesArtificiales.pdf.jpgGenerated Thumbnailimage/jpeg6081https://bibliotecadigital.udea.edu.co/bitstreams/43c5de86-b190-444d-bb39-95199bcc96be/download8658f4619827384e269841fef49f613aMD56falseAnonymousREAD10495/35601oai:bibliotecadigital.udea.edu.co:10495/356012025-03-26 23:01:57.682http://creativecommons.org/licenses/by-nc-sa/2.5/co/open.accesshttps://bibliotecadigital.udea.edu.coRepositorio Institucional de la Universidad de Antioquiaaplicacionbibliotecadigitalbiblioteca@udea.edu.coTk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=