Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales
RESUMEN : Abordar el problema del olvido catastrófico en redes neuronales artificiales (ANNs), es crucial en la liberación de su potencial para adaptarse y aprender continuamente en diferentes contextos y dominios sin perder el conocimiento previamente aprendido. Mitigarlo puede convertir a las ANNs...
- Autores:
-
Campaña Rosero, Jairo David
- Tipo de recurso:
- Trabajo de grado de pregrado
- Fecha de publicación:
- 2023
- Institución:
- Universidad de Antioquia
- Repositorio:
- Repositorio UdeA
- Idioma:
- spa
- OAI Identifier:
- oai:bibliotecadigital.udea.edu.co:10495/35601
- Acceso en línea:
- https://hdl.handle.net/10495/35601
- Palabra clave:
- Redes Neurales de la Computación
Neural Networks, Computer
Pruebas Neuropsicológicas
Neuropsychological Tests
Aprendizaje a lo largo de la vida
Lifelong learning
Machine Learning
Computación neural y evolutiva
http://vocabularies.unesco.org/thesaurus/concept1488
- Rights
- openAccess
- License
- http://creativecommons.org/licenses/by-nc-sa/2.5/co/
| id |
UDEA2_ffdd4935f996899e49d7cfaecb37d2d9 |
|---|---|
| oai_identifier_str |
oai:bibliotecadigital.udea.edu.co:10495/35601 |
| network_acronym_str |
UDEA2 |
| network_name_str |
Repositorio UdeA |
| repository_id_str |
|
| dc.title.spa.fl_str_mv |
Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales |
| title |
Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales |
| spellingShingle |
Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales Redes Neurales de la Computación Neural Networks, Computer Pruebas Neuropsicológicas Neuropsychological Tests Aprendizaje a lo largo de la vida Lifelong learning Machine Learning Computación neural y evolutiva http://vocabularies.unesco.org/thesaurus/concept1488 |
| title_short |
Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales |
| title_full |
Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales |
| title_fullStr |
Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales |
| title_full_unstemmed |
Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales |
| title_sort |
Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales |
| dc.creator.fl_str_mv |
Campaña Rosero, Jairo David |
| dc.contributor.advisor.none.fl_str_mv |
Salazar Jiménez, Augusto Enrique |
| dc.contributor.author.none.fl_str_mv |
Campaña Rosero, Jairo David |
| dc.subject.decs.none.fl_str_mv |
Redes Neurales de la Computación Neural Networks, Computer Pruebas Neuropsicológicas Neuropsychological Tests |
| topic |
Redes Neurales de la Computación Neural Networks, Computer Pruebas Neuropsicológicas Neuropsychological Tests Aprendizaje a lo largo de la vida Lifelong learning Machine Learning Computación neural y evolutiva http://vocabularies.unesco.org/thesaurus/concept1488 |
| dc.subject.unesco.none.fl_str_mv |
Aprendizaje a lo largo de la vida Lifelong learning |
| dc.subject.proposal.spa.fl_str_mv |
Machine Learning Computación neural y evolutiva |
| dc.subject.unescouri.none.fl_str_mv |
http://vocabularies.unesco.org/thesaurus/concept1488 |
| description |
RESUMEN : Abordar el problema del olvido catastrófico en redes neuronales artificiales (ANNs), es crucial en la liberación de su potencial para adaptarse y aprender continuamente en diferentes contextos y dominios sin perder el conocimiento previamente aprendido. Mitigarlo puede convertir a las ANNs en sistemas óptimos y versátiles. Este estudio realiza un análisis comparativo de dos estrategias de aprendizaje continuo bio-inspiradas en la plasticidad sináptica: Learning to Continually Learn (LCL) y Continual Learning Through Synaptic Intelligence (SI). Estas estrategias buscan mitigar el problema del olvido catastrófico en el contexto de clasificación de imágenes. La investigación evalúa y contrasta las capacidades de LCL y SI para permitirle a las ANNs aprender continuamente en múltiples tareas y dominios. Los resultados experimentales muestran como las estrategias se desempeñan en tres escenarios. Pese a su baja capacidad de representación, la estrategia LCL muestra comportamientos interesantes, como tasas de olvido relativamente bajas, permitiéndole aprender nuevas clases o instancias sin afectar negativamente las previamente aprendidas. Por otro lado, la estrategia SI presentó problemas graves de olvido catastrófico al aprender nuevas clases. Esta investigación ofrece información valiosa sobre el comportamiento de las estrategias LCL y SI, basadas en la plasticidad sináptica, para abordar el problema del olvido catastrófico en las ANNs. Las implicaciones de estos resultados destacan la importancia de investigaciones y desarrollos adicionales, para refinar las estrategias de aprendizaje continuo y ampliar su impacto potencial en diversas aplicaciones de inteligencia artificial. Este estudio contribuye a la búsqueda de modelos de aprendizaje más adaptables y eficientes. |
| publishDate |
2023 |
| dc.date.accessioned.none.fl_str_mv |
2023-06-23T15:07:25Z |
| dc.date.available.none.fl_str_mv |
2023-06-23T15:07:25Z |
| dc.date.issued.none.fl_str_mv |
2023 |
| dc.type.spa.fl_str_mv |
Tesis/Trabajo de grado - Monografía - Pregrado |
| dc.type.coar.spa.fl_str_mv |
http://purl.org/coar/resource_type/c_7a1f |
| dc.type.redcol.spa.fl_str_mv |
https://purl.org/redcol/resource_type/TP |
| dc.type.coarversion.spa.fl_str_mv |
http://purl.org/coar/version/c_b1a7d7d4d402bcce |
| dc.type.driver.spa.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| dc.type.version.spa.fl_str_mv |
info:eu-repo/semantics/draft |
| format |
http://purl.org/coar/resource_type/c_7a1f |
| status_str |
draft |
| dc.identifier.uri.none.fl_str_mv |
https://hdl.handle.net/10495/35601 |
| url |
https://hdl.handle.net/10495/35601 |
| dc.language.iso.spa.fl_str_mv |
spa |
| language |
spa |
| dc.rights.uri.*.fl_str_mv |
http://creativecommons.org/licenses/by-nc-sa/2.5/co/ |
| dc.rights.uri.spa.fl_str_mv |
https://creativecommons.org/licenses/by-nc-sa/4.0/ |
| dc.rights.accessrights.spa.fl_str_mv |
info:eu-repo/semantics/openAccess |
| dc.rights.coar.spa.fl_str_mv |
http://purl.org/coar/access_right/c_abf2 |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-sa/2.5/co/ https://creativecommons.org/licenses/by-nc-sa/4.0/ http://purl.org/coar/access_right/c_abf2 |
| eu_rights_str_mv |
openAccess |
| dc.format.extent.spa.fl_str_mv |
80 |
| dc.format.mimetype.spa.fl_str_mv |
application/pdf |
| dc.publisher.spa.fl_str_mv |
Universidad de Antioquia |
| dc.publisher.place.spa.fl_str_mv |
Medellín, Colombia |
| dc.publisher.faculty.spa.fl_str_mv |
Facultad de Ingeniería. Ingeniería de Sistemas |
| institution |
Universidad de Antioquia |
| bitstream.url.fl_str_mv |
https://bibliotecadigital.udea.edu.co/bitstreams/3a27f0a6-9ac3-4cec-8aeb-a715251dd2fc/download https://bibliotecadigital.udea.edu.co/bitstreams/1b3195a3-748b-47c6-badd-cc528b12b888/download https://bibliotecadigital.udea.edu.co/bitstreams/5b9da09e-5ed2-480e-834b-0dd611f27101/download https://bibliotecadigital.udea.edu.co/bitstreams/ef082053-a4ed-4da6-a058-3bba8f6784da/download https://bibliotecadigital.udea.edu.co/bitstreams/43c5de86-b190-444d-bb39-95199bcc96be/download |
| bitstream.checksum.fl_str_mv |
389ecc6c080a5123db7f7bd691adbb24 e2060682c9c70d4d30c83c51448f4eed 8a4605be74aa9ea9d79846c1fba20a33 400b50ef54073cb2ecf68b719a906ec3 8658f4619827384e269841fef49f613a |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositorio Institucional de la Universidad de Antioquia |
| repository.mail.fl_str_mv |
aplicacionbibliotecadigitalbiblioteca@udea.edu.co |
| _version_ |
1851052481228832768 |
| spelling |
Salazar Jiménez, Augusto EnriqueCampaña Rosero, Jairo David2023-06-23T15:07:25Z2023-06-23T15:07:25Z2023https://hdl.handle.net/10495/35601RESUMEN : Abordar el problema del olvido catastrófico en redes neuronales artificiales (ANNs), es crucial en la liberación de su potencial para adaptarse y aprender continuamente en diferentes contextos y dominios sin perder el conocimiento previamente aprendido. Mitigarlo puede convertir a las ANNs en sistemas óptimos y versátiles. Este estudio realiza un análisis comparativo de dos estrategias de aprendizaje continuo bio-inspiradas en la plasticidad sináptica: Learning to Continually Learn (LCL) y Continual Learning Through Synaptic Intelligence (SI). Estas estrategias buscan mitigar el problema del olvido catastrófico en el contexto de clasificación de imágenes. La investigación evalúa y contrasta las capacidades de LCL y SI para permitirle a las ANNs aprender continuamente en múltiples tareas y dominios. Los resultados experimentales muestran como las estrategias se desempeñan en tres escenarios. Pese a su baja capacidad de representación, la estrategia LCL muestra comportamientos interesantes, como tasas de olvido relativamente bajas, permitiéndole aprender nuevas clases o instancias sin afectar negativamente las previamente aprendidas. Por otro lado, la estrategia SI presentó problemas graves de olvido catastrófico al aprender nuevas clases. Esta investigación ofrece información valiosa sobre el comportamiento de las estrategias LCL y SI, basadas en la plasticidad sináptica, para abordar el problema del olvido catastrófico en las ANNs. Las implicaciones de estos resultados destacan la importancia de investigaciones y desarrollos adicionales, para refinar las estrategias de aprendizaje continuo y ampliar su impacto potencial en diversas aplicaciones de inteligencia artificial. Este estudio contribuye a la búsqueda de modelos de aprendizaje más adaptables y eficientes.ABSTRACT : Addressing the catastrophic forgetting problem in artificial neural networks (ANNs), is essential for unlocking their potential to adapt and learn continuously across various contexts and domains without losing previously acquired knowledge. Mitigating this issue can transform ANNs into more optimal and versatile systems, enabling them to handle dynamic data efficiently and accurately. This study conducts a comparative analysis of two bio-inspired continuous learning strategies based on synaptic plasticity: Learning to Continually Learn (LCL) and Continual Learning Through Synaptic Intelligence (SI). These strategies aim to mitigate the catastrophic forgetting problem in the context of image classification tasks. The research evaluates and contrasts the ability of LCL and SI to enable ANNs to learn continuously across multiple tasks and domains. The experimental results demonstrate the performance of both strategies in three distinct scenarios. Despite its low representation capacity, the LCL strategy exhibits intriguing behaviors, such as relatively low forgetting rates, enabling it to learn new classes without negatively affecting previous ones. In contrast, the SI strategy encounters significant catastrophic forgetting issues when incorporating new classes. This investigation provides valuable insights into the behavior of LCL and SI strategies, based on synaptic plasticity, for addressing the catastrophic forgetting problem in ANNs. The implications of these findings emphasize the need for further research and development to refine continuous learning strategies, enhancing their potential impact across various artificial intelligence applications. The study contributes to the ongoing pursuit of more adaptable and efficient learning models.PregradoIngeniero de Sistemas80application/pdfspaUniversidad de AntioquiaMedellín, ColombiaFacultad de Ingeniería. Ingeniería de Sistemashttp://creativecommons.org/licenses/by-nc-sa/2.5/co/https://creativecommons.org/licenses/by-nc-sa/4.0/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificialesTesis/Trabajo de grado - Monografía - Pregradohttp://purl.org/coar/resource_type/c_7a1fhttps://purl.org/redcol/resource_type/TPhttp://purl.org/coar/version/c_b1a7d7d4d402bcceinfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/draftRedes Neurales de la ComputaciónNeural Networks, ComputerPruebas NeuropsicológicasNeuropsychological TestsAprendizaje a lo largo de la vidaLifelong learningMachine LearningComputación neural y evolutivahttp://vocabularies.unesco.org/thesaurus/concept1488PublicationORIGINALCampanaJairo_2023_RedesNeuronalesArtificiales.pdfCampanaJairo_2023_RedesNeuronalesArtificiales.pdfTrabajo de grado de pregradoapplication/pdf2654685https://bibliotecadigital.udea.edu.co/bitstreams/3a27f0a6-9ac3-4cec-8aeb-a715251dd2fc/download389ecc6c080a5123db7f7bd691adbb24MD54trueAnonymousREADCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81051https://bibliotecadigital.udea.edu.co/bitstreams/1b3195a3-748b-47c6-badd-cc528b12b888/downloade2060682c9c70d4d30c83c51448f4eedMD52falseAnonymousREADLICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://bibliotecadigital.udea.edu.co/bitstreams/5b9da09e-5ed2-480e-834b-0dd611f27101/download8a4605be74aa9ea9d79846c1fba20a33MD53falseAnonymousREADTEXTCampanaJairo_2023_RedesNeuronalesArtificiales.pdf.txtCampanaJairo_2023_RedesNeuronalesArtificiales.pdf.txtExtracted texttext/plain101309https://bibliotecadigital.udea.edu.co/bitstreams/ef082053-a4ed-4da6-a058-3bba8f6784da/download400b50ef54073cb2ecf68b719a906ec3MD55falseAnonymousREADTHUMBNAILCampanaJairo_2023_RedesNeuronalesArtificiales.pdf.jpgCampanaJairo_2023_RedesNeuronalesArtificiales.pdf.jpgGenerated Thumbnailimage/jpeg6081https://bibliotecadigital.udea.edu.co/bitstreams/43c5de86-b190-444d-bb39-95199bcc96be/download8658f4619827384e269841fef49f613aMD56falseAnonymousREAD10495/35601oai:bibliotecadigital.udea.edu.co:10495/356012025-03-26 23:01:57.682http://creativecommons.org/licenses/by-nc-sa/2.5/co/open.accesshttps://bibliotecadigital.udea.edu.coRepositorio Institucional de la Universidad de Antioquiaaplicacionbibliotecadigitalbiblioteca@udea.edu.coTk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo= |
