Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark
RESUMEN : El entrenamiento de modelos de machine learning es un proceso iterativo que consume altos recursos computacionales y tiempo de ejecución, dependiendo del hardware disponible, estos entrenamientos pueden ser más o menos eficientes respecto al tiempo de ejecución, lo que puede llevar a un gr...
- Autores:
-
Jaramillo Tobon, Juan Pablo
Higuita Usuga, Daniel Alejandro
- Tipo de recurso:
- Tesis
- Fecha de publicación:
- 2024
- Institución:
- Universidad de Antioquia
- Repositorio:
- Repositorio UdeA
- Idioma:
- spa
- OAI Identifier:
- oai:bibliotecadigital.udea.edu.co:10495/44350
- Acceso en línea:
- https://hdl.handle.net/10495/44350
- Palabra clave:
- Neumonía
Pneumonia
Aprendizaje automático (inteligencia artificial)
Machine learning
Teoría del aprendizaje computacional
Computational learning theory
Análisis cluster
Cluster analysis
https://id.nlm.nih.gov/mesh/D011014
- Rights
- openAccess
- License
- https://creativecommons.org/licenses/by-nc-sa/4.0/
| id |
UDEA2_3d34fbb239ee4cef621673a8b93c49ea |
|---|---|
| oai_identifier_str |
oai:bibliotecadigital.udea.edu.co:10495/44350 |
| network_acronym_str |
UDEA2 |
| network_name_str |
Repositorio UdeA |
| repository_id_str |
|
| dc.title.spa.fl_str_mv |
Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark |
| title |
Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark |
| spellingShingle |
Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark Neumonía Pneumonia Aprendizaje automático (inteligencia artificial) Machine learning Teoría del aprendizaje computacional Computational learning theory Análisis cluster Cluster analysis https://id.nlm.nih.gov/mesh/D011014 |
| title_short |
Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark |
| title_full |
Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark |
| title_fullStr |
Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark |
| title_full_unstemmed |
Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark |
| title_sort |
Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de Spark |
| dc.creator.fl_str_mv |
Jaramillo Tobon, Juan Pablo Higuita Usuga, Daniel Alejandro |
| dc.contributor.advisor.none.fl_str_mv |
Alberto Oviedo, Efrain |
| dc.contributor.author.none.fl_str_mv |
Jaramillo Tobon, Juan Pablo Higuita Usuga, Daniel Alejandro |
| dc.subject.decs.none.fl_str_mv |
Neumonía Pneumonia |
| topic |
Neumonía Pneumonia Aprendizaje automático (inteligencia artificial) Machine learning Teoría del aprendizaje computacional Computational learning theory Análisis cluster Cluster analysis https://id.nlm.nih.gov/mesh/D011014 |
| dc.subject.lemb.none.fl_str_mv |
Aprendizaje automático (inteligencia artificial) Machine learning Teoría del aprendizaje computacional Computational learning theory Análisis cluster Cluster analysis |
| dc.subject.meshuri.none.fl_str_mv |
https://id.nlm.nih.gov/mesh/D011014 |
| description |
RESUMEN : El entrenamiento de modelos de machine learning es un proceso iterativo que consume altos recursos computacionales y tiempo de ejecución, dependiendo del hardware disponible, estos entrenamientos pueden ser más o menos eficientes respecto al tiempo de ejecución, lo que puede llevar a un gran costo energético e inversiones de tiempo, cuyo resultados pueden ser un modelo que no sea óptimo para el objetivo propuesto. Debido a las alternativas que existen para el entrenamiento de modelos, se necesita hacer un análisis sobre los tiempos de ejecución que lleva entrenar modelos que retornen una buena hipótesis, capaz de predecir con accuracy mayor al 70% y comparar la ejecución clásica en un pc vs clustering aplicando distintas configuraciones. Este proyecto utilizará modelos de aprendizaje automático para distinguir un pulmón sano de uno con neumonía, estos modelos serán entrenados en: CPU, GPU y ejecución distribuida en cluster, y se calculará cual recurso que en promedio sea más eficiente respecto al porcentaje de mejora en tiempos de ejecución en el entrenamiento de los modelos. |
| publishDate |
2024 |
| dc.date.issued.none.fl_str_mv |
2024 |
| dc.date.accessioned.none.fl_str_mv |
2025-01-23T19:48:40Z |
| dc.date.available.none.fl_str_mv |
2025-01-23T19:48:40Z |
| dc.type.spa.fl_str_mv |
Tesis/Trabajo de grado - Monografía - Especialización |
| dc.type.coar.spa.fl_str_mv |
http://purl.org/coar/resource_type/c_46ec |
| dc.type.redcol.spa.fl_str_mv |
http://purl.org/redcol/resource_type/COther |
| dc.type.coarversion.spa.fl_str_mv |
http://purl.org/coar/version/c_b1a7d7d4d402bcce |
| dc.type.driver.spa.fl_str_mv |
info:eu-repo/semantics/other |
| dc.type.version.spa.fl_str_mv |
info:eu-repo/semantics/draft |
| format |
http://purl.org/coar/resource_type/c_46ec |
| status_str |
draft |
| dc.identifier.uri.none.fl_str_mv |
https://hdl.handle.net/10495/44350 |
| url |
https://hdl.handle.net/10495/44350 |
| dc.language.iso.spa.fl_str_mv |
spa |
| language |
spa |
| dc.rights.uri.spa.fl_str_mv |
https://creativecommons.org/licenses/by-nc-sa/4.0/ |
| dc.rights.accessrights.spa.fl_str_mv |
info:eu-repo/semantics/openAccess |
| dc.rights.coar.spa.fl_str_mv |
http://purl.org/coar/access_right/c_abf2 |
| rights_invalid_str_mv |
https://creativecommons.org/licenses/by-nc-sa/4.0/ http://purl.org/coar/access_right/c_abf2 |
| eu_rights_str_mv |
openAccess |
| dc.format.extent.spa.fl_str_mv |
31 páginas |
| dc.format.mimetype.spa.fl_str_mv |
application/pdf |
| dc.publisher.spa.fl_str_mv |
Universidad de Antioquia |
| dc.publisher.place.spa.fl_str_mv |
Medellín, Colombia |
| dc.publisher.faculty.spa.fl_str_mv |
Facultad de Ingeniería. Especialización en Analítica y Ciencia de Datos |
| institution |
Universidad de Antioquia |
| bitstream.url.fl_str_mv |
https://bibliotecadigital.udea.edu.co/bitstreams/9ece6dc2-96a4-4a65-9854-6563ef95aa52/download https://bibliotecadigital.udea.edu.co/bitstreams/15aec15a-9c6d-40c3-bd74-1c07d57a358c/download https://bibliotecadigital.udea.edu.co/bitstreams/7b21d393-a511-401e-a795-91c105696d7c/download https://bibliotecadigital.udea.edu.co/bitstreams/a1ed6393-a5dd-47dd-8be9-7d90b1865207/download |
| bitstream.checksum.fl_str_mv |
8a4605be74aa9ea9d79846c1fba20a33 26ab36af48ea005f7562ffa87375200b 28c6a1c0ba495dcbffca5d14a0e53adb b7d2be359fc83a59aa5ea7411a097e54 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositorio Institucional de la Universidad de Antioquia |
| repository.mail.fl_str_mv |
aplicacionbibliotecadigitalbiblioteca@udea.edu.co |
| _version_ |
1851052314300776448 |
| spelling |
Alberto Oviedo, EfrainJaramillo Tobon, Juan PabloHiguita Usuga, Daniel Alejandro2025-01-23T19:48:40Z2025-01-23T19:48:40Z2024https://hdl.handle.net/10495/44350RESUMEN : El entrenamiento de modelos de machine learning es un proceso iterativo que consume altos recursos computacionales y tiempo de ejecución, dependiendo del hardware disponible, estos entrenamientos pueden ser más o menos eficientes respecto al tiempo de ejecución, lo que puede llevar a un gran costo energético e inversiones de tiempo, cuyo resultados pueden ser un modelo que no sea óptimo para el objetivo propuesto. Debido a las alternativas que existen para el entrenamiento de modelos, se necesita hacer un análisis sobre los tiempos de ejecución que lleva entrenar modelos que retornen una buena hipótesis, capaz de predecir con accuracy mayor al 70% y comparar la ejecución clásica en un pc vs clustering aplicando distintas configuraciones. Este proyecto utilizará modelos de aprendizaje automático para distinguir un pulmón sano de uno con neumonía, estos modelos serán entrenados en: CPU, GPU y ejecución distribuida en cluster, y se calculará cual recurso que en promedio sea más eficiente respecto al porcentaje de mejora en tiempos de ejecución en el entrenamiento de los modelos.EspecializaciónEspecialista en Analítica y Ciencia de Datos31 páginasapplication/pdfspaUniversidad de AntioquiaMedellín, ColombiaFacultad de Ingeniería. Especialización en Analítica y Ciencia de Datoshttps://creativecommons.org/licenses/by-nc-sa/4.0/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Análisis de tiempos de ejecución para modelos de machine learning entrenados localmente y en clusters de SparkTesis/Trabajo de grado - Monografía - Especializaciónhttp://purl.org/coar/resource_type/c_46echttp://purl.org/redcol/resource_type/COtherhttp://purl.org/coar/version/c_b1a7d7d4d402bcceinfo:eu-repo/semantics/otherinfo:eu-repo/semantics/draftNeumoníaPneumoniaAprendizaje automático (inteligencia artificial)Machine learningTeoría del aprendizaje computacionalComputational learning theoryAnálisis clusterCluster analysishttps://id.nlm.nih.gov/mesh/D011014PublicationLICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://bibliotecadigital.udea.edu.co/bitstreams/9ece6dc2-96a4-4a65-9854-6563ef95aa52/download8a4605be74aa9ea9d79846c1fba20a33MD52falseAnonymousREADORIGINALJaramilloJuan_HiguitaDaniel_2024_EjecucionMachineLearning.pdfJaramilloJuan_HiguitaDaniel_2024_EjecucionMachineLearning.pdfTrabajo de grado de especializaciónapplication/pdf1332200https://bibliotecadigital.udea.edu.co/bitstreams/15aec15a-9c6d-40c3-bd74-1c07d57a358c/download26ab36af48ea005f7562ffa87375200bMD51trueAnonymousREADTEXTJaramilloJuan_HiguitaDaniel_2024_EjecucionMachineLearning.pdf.txtJaramilloJuan_HiguitaDaniel_2024_EjecucionMachineLearning.pdf.txtExtracted texttext/plain32916https://bibliotecadigital.udea.edu.co/bitstreams/7b21d393-a511-401e-a795-91c105696d7c/download28c6a1c0ba495dcbffca5d14a0e53adbMD53falseAnonymousREADTHUMBNAILJaramilloJuan_HiguitaDaniel_2024_EjecucionMachineLearning.pdf.jpgJaramilloJuan_HiguitaDaniel_2024_EjecucionMachineLearning.pdf.jpgGenerated Thumbnailimage/jpeg6286https://bibliotecadigital.udea.edu.co/bitstreams/a1ed6393-a5dd-47dd-8be9-7d90b1865207/downloadb7d2be359fc83a59aa5ea7411a097e54MD54falseAnonymousREAD10495/44350oai:bibliotecadigital.udea.edu.co:10495/443502025-03-26 20:23:25.533https://creativecommons.org/licenses/by-nc-sa/4.0/open.accesshttps://bibliotecadigital.udea.edu.coRepositorio Institucional de la Universidad de Antioquiaaplicacionbibliotecadigitalbiblioteca@udea.edu.coTk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo= |
