Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark

RESUMEN : El entrenamiento de modelos de machine learning es un proceso iterativo que consume altos recursos computacionales y tiempo de ejecución, dependiendo del hardware disponible, estos entrenamientos pueden ser más o menos eficientes respecto al tiempo de ejecución, lo que puede llevar a un gr...

Full description

Autores:
Jaramillo Tobon, Juan Pablo
Higuita Usuga, Daniel Alejandro
Tipo de recurso:
Tesis
Fecha de publicación:
2024
Institución:
Universidad de Antioquia
Repositorio:
Repositorio UdeA
Idioma:
spa
OAI Identifier:
oai:bibliotecadigital.udea.edu.co:10495/44350
Acceso en línea:
https://hdl.handle.net/10495/44350
Palabra clave:
Neumonía
Pneumonia
Aprendizaje automático (inteligencia artificial)
Machine learning
Teoría del aprendizaje computacional
Computational learning theory
Análisis cluster
Cluster analysis
https://id.nlm.nih.gov/mesh/D011014
Rights
openAccess
License
https://creativecommons.org/licenses/by-nc-sa/4.0/
id UDEA2_3d34fbb239ee4cef621673a8b93c49ea
oai_identifier_str oai:bibliotecadigital.udea.edu.co:10495/44350
network_acronym_str UDEA2
network_name_str Repositorio UdeA
repository_id_str
dc.title.spa.fl_str_mv Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark
title Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark
spellingShingle Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark
Neumonía
Pneumonia
Aprendizaje automático (inteligencia artificial)
Machine learning
Teoría del aprendizaje computacional
Computational learning theory
Análisis cluster
Cluster analysis
https://id.nlm.nih.gov/mesh/D011014
title_short Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark
title_full Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark
title_fullStr Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark
title_full_unstemmed Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark
title_sort Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark
dc.creator.fl_str_mv Jaramillo Tobon, Juan Pablo
Higuita Usuga, Daniel Alejandro
dc.contributor.advisor.none.fl_str_mv Alberto Oviedo, Efrain
dc.contributor.author.none.fl_str_mv Jaramillo Tobon, Juan Pablo
Higuita Usuga, Daniel Alejandro
dc.subject.decs.none.fl_str_mv Neumonía
Pneumonia
topic Neumonía
Pneumonia
Aprendizaje automático (inteligencia artificial)
Machine learning
Teoría del aprendizaje computacional
Computational learning theory
Análisis cluster
Cluster analysis
https://id.nlm.nih.gov/mesh/D011014
dc.subject.lemb.none.fl_str_mv Aprendizaje automático (inteligencia artificial)
Machine learning
Teoría del aprendizaje computacional
Computational learning theory
Análisis cluster
Cluster analysis
dc.subject.meshuri.none.fl_str_mv https://id.nlm.nih.gov/mesh/D011014
description RESUMEN : El entrenamiento de modelos de machine learning es un proceso iterativo que consume altos recursos computacionales y tiempo de ejecución, dependiendo del hardware disponible, estos entrenamientos pueden ser más o menos eficientes respecto al tiempo de ejecución, lo que puede llevar a un gran costo energético e inversiones de tiempo, cuyo resultados pueden ser un modelo que no sea óptimo para el objetivo propuesto. Debido a las alternativas que existen para el entrenamiento de modelos, se necesita hacer un análisis sobre los tiempos de ejecución que lleva entrenar modelos que retornen una buena hipótesis, capaz de predecir con accuracy mayor al 70% y comparar la ejecución clásica en un pc vs clustering aplicando distintas configuraciones. Este proyecto utilizará modelos de aprendizaje automático para distinguir un pulmón sano de uno con neumonía, estos modelos serán entrenados en: CPU, GPU y ejecución distribuida en cluster, y se calculará cual recurso que en promedio sea más eficiente respecto al porcentaje de mejora en tiempos de ejecución en el entrenamiento de los modelos.
publishDate 2024
dc.date.issued.none.fl_str_mv 2024
dc.date.accessioned.none.fl_str_mv 2025-01-23T19:48:40Z
dc.date.available.none.fl_str_mv 2025-01-23T19:48:40Z
dc.type.spa.fl_str_mv Tesis/Trabajo de grado - Monografía - Especialización
dc.type.coar.spa.fl_str_mv http://purl.org/coar/resource_type/c_46ec
dc.type.redcol.spa.fl_str_mv http://purl.org/redcol/resource_type/COther
dc.type.coarversion.spa.fl_str_mv http://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.driver.spa.fl_str_mv info:eu-repo/semantics/other
dc.type.version.spa.fl_str_mv info:eu-repo/semantics/draft
format http://purl.org/coar/resource_type/c_46ec
status_str draft
dc.identifier.uri.none.fl_str_mv https://hdl.handle.net/10495/44350
url https://hdl.handle.net/10495/44350
dc.language.iso.spa.fl_str_mv spa
language spa
dc.rights.uri.spa.fl_str_mv https://creativecommons.org/licenses/by-nc-sa/4.0/
dc.rights.accessrights.spa.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.spa.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc-sa/4.0/
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.extent.spa.fl_str_mv 31 páginas
dc.format.mimetype.spa.fl_str_mv application/pdf
dc.publisher.spa.fl_str_mv Universidad de Antioquia
dc.publisher.place.spa.fl_str_mv Medellín, Colombia
dc.publisher.faculty.spa.fl_str_mv Facultad de Ingeniería. Especialización en Analítica y Ciencia de Datos
institution Universidad de Antioquia
bitstream.url.fl_str_mv https://bibliotecadigital.udea.edu.co/bitstreams/9ece6dc2-96a4-4a65-9854-6563ef95aa52/download
https://bibliotecadigital.udea.edu.co/bitstreams/15aec15a-9c6d-40c3-bd74-1c07d57a358c/download
https://bibliotecadigital.udea.edu.co/bitstreams/7b21d393-a511-401e-a795-91c105696d7c/download
https://bibliotecadigital.udea.edu.co/bitstreams/a1ed6393-a5dd-47dd-8be9-7d90b1865207/download
bitstream.checksum.fl_str_mv 8a4605be74aa9ea9d79846c1fba20a33
26ab36af48ea005f7562ffa87375200b
28c6a1c0ba495dcbffca5d14a0e53adb
b7d2be359fc83a59aa5ea7411a097e54
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositorio Institucional de la Universidad de Antioquia
repository.mail.fl_str_mv aplicacionbibliotecadigitalbiblioteca@udea.edu.co
_version_ 1851052314300776448
spelling Alberto Oviedo, EfrainJaramillo Tobon, Juan PabloHiguita Usuga, Daniel Alejandro2025-01-23T19:48:40Z2025-01-23T19:48:40Z2024https://hdl.handle.net/10495/44350RESUMEN : El entrenamiento de modelos de machine learning es un proceso iterativo que consume altos recursos computacionales y tiempo de ejecución, dependiendo del hardware disponible, estos entrenamientos pueden ser más o menos eficientes respecto al tiempo de ejecución, lo que puede llevar a un gran costo energético e inversiones de tiempo, cuyo resultados pueden ser un modelo que no sea óptimo para el objetivo propuesto. Debido a las alternativas que existen para el entrenamiento de modelos, se necesita hacer un análisis sobre los tiempos de ejecución que lleva entrenar modelos que retornen una buena hipótesis, capaz de predecir con accuracy mayor al 70% y comparar la ejecución clásica en un pc vs clustering aplicando distintas configuraciones. Este proyecto utilizará modelos de aprendizaje automático para distinguir un pulmón sano de uno con neumonía, estos modelos serán entrenados en: CPU, GPU y ejecución distribuida en cluster, y se calculará cual recurso que en promedio sea más eficiente respecto al porcentaje de mejora en tiempos de ejecución en el entrenamiento de los modelos.EspecializaciónEspecialista en Analítica y Ciencia de Datos31 páginasapplication/pdfspaUniversidad de AntioquiaMedellín, ColombiaFacultad de Ingeniería. Especialización en Analítica y Ciencia de Datoshttps://creativecommons.org/licenses/by-nc-sa/4.0/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de SparkTesis/Trabajo de grado - Monografía - Especializaciónhttp://purl.org/coar/resource_type/c_46echttp://purl.org/redcol/resource_type/COtherhttp://purl.org/coar/version/c_b1a7d7d4d402bcceinfo:eu-repo/semantics/otherinfo:eu-repo/semantics/draftNeumoníaPneumoniaAprendizaje automático (inteligencia artificial)Machine learningTeoría del aprendizaje computacionalComputational learning theoryAnálisis clusterCluster analysishttps://id.nlm.nih.gov/mesh/D011014PublicationLICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://bibliotecadigital.udea.edu.co/bitstreams/9ece6dc2-96a4-4a65-9854-6563ef95aa52/download8a4605be74aa9ea9d79846c1fba20a33MD52falseAnonymousREADORIGINALJaramilloJuan_HiguitaDaniel_2024_EjecucionMachineLearning.pdfJaramilloJuan_HiguitaDaniel_2024_EjecucionMachineLearning.pdfTrabajo de grado de especializaciónapplication/pdf1332200https://bibliotecadigital.udea.edu.co/bitstreams/15aec15a-9c6d-40c3-bd74-1c07d57a358c/download26ab36af48ea005f7562ffa87375200bMD51trueAnonymousREADTEXTJaramilloJuan_HiguitaDaniel_2024_EjecucionMachineLearning.pdf.txtJaramilloJuan_HiguitaDaniel_2024_EjecucionMachineLearning.pdf.txtExtracted texttext/plain32916https://bibliotecadigital.udea.edu.co/bitstreams/7b21d393-a511-401e-a795-91c105696d7c/download28c6a1c0ba495dcbffca5d14a0e53adbMD53falseAnonymousREADTHUMBNAILJaramilloJuan_HiguitaDaniel_2024_EjecucionMachineLearning.pdf.jpgJaramilloJuan_HiguitaDaniel_2024_EjecucionMachineLearning.pdf.jpgGenerated Thumbnailimage/jpeg6286https://bibliotecadigital.udea.edu.co/bitstreams/a1ed6393-a5dd-47dd-8be9-7d90b1865207/downloadb7d2be359fc83a59aa5ea7411a097e54MD54falseAnonymousREAD10495/44350oai:bibliotecadigital.udea.edu.co:10495/443502025-03-26 20:23:25.533https://creativecommons.org/licenses/by-nc-sa/4.0/open.accesshttps://bibliotecadigital.udea.edu.coRepositorio Institucional de la Universidad de Antioquiaaplicacionbibliotecadigitalbiblioteca@udea.edu.coTk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=