Análisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de Mamografía
En este trabajo se ha realizado un estudio comparativo de diferentes técnicas de aprendizaje automático aplicadas a la detección de hallazgos de cáncer de mama a partir de imágenes de mamografía. La herramienta actúa como un sistema sugestivo de posibles hallazgos patológicos, no debe ser considerad...
- Autores:
-
Polo Villalobos, Leisson Duwer
- Tipo de recurso:
- Trabajo de grado de pregrado
- Fecha de publicación:
- 2022
- Institución:
- Universidad de Ibagué
- Repositorio:
- Repositorio Universidad de Ibagué
- Idioma:
- spa
- OAI Identifier:
- oai:repositorio.unibague.edu.co:20.500.12313/4907
- Acceso en línea:
- https://hdl.handle.net/20.500.12313/4907
- Palabra clave:
- Cáncer de mama - Imágenes - Patrones sugestivos
Métodos de Machine Learning - Cancer de mama
Cáncer de mama - Imágenes
Cáncer de mama
IA
Aprendizaje automático
Mamografía
Arquitecturas
Breast cancer
AI
Machine learning
Mammography
Architectures
- Rights
- openAccess
- License
- http://purl.org/coar/access_right/c_abf2
| id |
UNIBAGUE2_f144dfaecadcc191f988c868daf52fc3 |
|---|---|
| oai_identifier_str |
oai:repositorio.unibague.edu.co:20.500.12313/4907 |
| network_acronym_str |
UNIBAGUE2 |
| network_name_str |
Repositorio Universidad de Ibagué |
| repository_id_str |
|
| dc.title.spa.fl_str_mv |
Análisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de Mamografía |
| title |
Análisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de Mamografía |
| spellingShingle |
Análisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de Mamografía Cáncer de mama - Imágenes - Patrones sugestivos Métodos de Machine Learning - Cancer de mama Cáncer de mama - Imágenes Cáncer de mama IA Aprendizaje automático Mamografía Arquitecturas Breast cancer AI Machine learning Mammography Architectures |
| title_short |
Análisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de Mamografía |
| title_full |
Análisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de Mamografía |
| title_fullStr |
Análisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de Mamografía |
| title_full_unstemmed |
Análisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de Mamografía |
| title_sort |
Análisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de Mamografía |
| dc.creator.fl_str_mv |
Polo Villalobos, Leisson Duwer |
| dc.contributor.advisor.none.fl_str_mv |
La Cruz Puente, Alexandra |
| dc.contributor.author.none.fl_str_mv |
Polo Villalobos, Leisson Duwer |
| dc.subject.armarc.none.fl_str_mv |
Cáncer de mama - Imágenes - Patrones sugestivos Métodos de Machine Learning - Cancer de mama Cáncer de mama - Imágenes |
| topic |
Cáncer de mama - Imágenes - Patrones sugestivos Métodos de Machine Learning - Cancer de mama Cáncer de mama - Imágenes Cáncer de mama IA Aprendizaje automático Mamografía Arquitecturas Breast cancer AI Machine learning Mammography Architectures |
| dc.subject.proposal.spa.fl_str_mv |
Cáncer de mama IA Aprendizaje automático Mamografía Arquitecturas |
| dc.subject.proposal.eng.fl_str_mv |
Breast cancer AI Machine learning Mammography Architectures |
| description |
En este trabajo se ha realizado un estudio comparativo de diferentes técnicas de aprendizaje automático aplicadas a la detección de hallazgos de cáncer de mama a partir de imágenes de mamografía. La herramienta actúa como un sistema sugestivo de posibles hallazgos patológicos, no debe ser considerada una herramienta diagnóstica. Esto permitirá el desarrollo de una herramienta de apoyo al personal médico al momento de realizar un diagnóstico. Para este estudio se utilizó la base de datos pública de Kaggle, concretamente, el conjunto de datos "MIAS Mammography", datos que ya cuentan con sus respectivas anotaciones. En este trabajo se evaluaron dos tipos de clasificación, clasificación binaria a partir de las calcificaciones (presencia de cáncer benigno o maligno) y clasificación multiclase para los casos malignos clasificar los distintos niveles de malignidad (CALC – Calcificación, CIRC – Masas definidas/circunscritas, SPIC - Masas espiculadas, MISC - Otras masas mal definidas, ARCH - Distorsión arquitectónica, ASYM – Asimetría, NORM - Normales). Los datos debieron ser pasados por un proceso de estructuración manual, con el fin de construir los datos de entrenamiento y validación por cada modelo. Finalmente, se evaluaron ocho (8) modelos en total, cuatro (4) de ellos para la clasificación binaria y cuatro (4) para laclasificación multiclase. Los modelos de clasificación binaria evaluados fueron las arquitecturas VGG-16, VGG-19, MobileNet-V2 y DenseNet-121. Los modelos de clasificación multiclase evaluados fueron: "K-Nearest Neighbors", "Random Forest", "Gradient Boosting" y "autoML". El análisis comparativo se realizó estandarizando el entorno de prueba con el mismo número de épocas y analizando los valores obtenidos en cuanto a precisión, tiempo de entrenamiento y F1.Se concluyó que la arquitectura DenseNet-121 obtuvo un mejor rendimiento como clasificador binario sobre los otros modelos, con una precisión de 0.9952, F1 de 0.96 y un tiempo de entrenamiento de 16.65 min. Entre los modelos de clasificación multiclase para la clasificación del grado de la lesión resultó mejor el de Random Forest con una precisión de 65.15, F1 de 0.53. El modelo VGG-16 logró una precisión de 0.7404 en 46.58 min y F1 de 0.60. El modelo VGG-19 obtuvo una precisión de 0.8365 en 60.60 min y F1 de 0.79. MobileNet-V2 logró una precisión de 0.9856 en 4.85 min y F1 de 0.96. Gradient boosting obtuvo un 62,63 de precisión, F1 de 0.52. K-neighbors con valor K = 8 obtuvo un 62,63% de precisión, F1 de 0.47 y el modelo autoML obtuvo un 64,65% de precisión, F1 de 0.47. |
| publishDate |
2022 |
| dc.date.issued.none.fl_str_mv |
2022 |
| dc.date.accessioned.none.fl_str_mv |
2025-03-27T20:14:09Z |
| dc.date.available.none.fl_str_mv |
2025-03-27T20:14:09Z |
| dc.type.none.fl_str_mv |
Trabajo de grado - Pregrado |
| dc.type.coar.none.fl_str_mv |
http://purl.org/coar/resource_type/c_7a1f |
| dc.type.content.none.fl_str_mv |
Text |
| dc.type.driver.none.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| dc.type.redcol.none.fl_str_mv |
http://purl.org/redcol/resource_type/TP |
| dc.type.version.none.fl_str_mv |
info:eu-repo/semantics/acceptedVersion |
| format |
http://purl.org/coar/resource_type/c_7a1f |
| status_str |
acceptedVersion |
| dc.identifier.citation.none.fl_str_mv |
Polo Villalobos, L. D.(2022).Análisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de Mamografía.[Trabajo de grado, Universidad de Ibagué]. https://hdl.handle.net/20.500.12313/4907 |
| dc.identifier.uri.none.fl_str_mv |
https://hdl.handle.net/20.500.12313/4907 |
| identifier_str_mv |
Polo Villalobos, L. D.(2022).Análisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de Mamografía.[Trabajo de grado, Universidad de Ibagué]. https://hdl.handle.net/20.500.12313/4907 |
| url |
https://hdl.handle.net/20.500.12313/4907 |
| dc.language.iso.none.fl_str_mv |
spa |
| language |
spa |
| dc.relation.references.none.fl_str_mv |
Arancibia, P., Taub, T., de Grazia, J. A., Díaz, M. L., López, A., Sáez, C., & Cermenati, T. (2013). Microcalcificaciones mamarias: revisión de los descriptores y categorías BI-RADS. Revista chilena de obstetricia y ginecología, 78(5), 383z394. https://n9.cl/zrbj7 Acervo Lima. (2022). Tpot AutoML. Acervolima.com. https://n9.cl/qj2ls Amat Rodriguez, J. (2020). Gradient Boosting con python. Ciencia De Datos.net. https://n9.cl/fbawt Bonilla Carrión, C. (2020). Redes Convolucionales. [Trabajo de Grado]. Universidad de Sevilla, Sevilla Bronshtein, A. (2017). Train/Test Split and Cross Validation in Python. TowardsData Science. https://n9.cl/tz05q . Casas Gonzalez J. M. (2020). Tuneando los hiperparámetros de una red neuronal LSTM para obtener un aprendizaje más eficiente. LinkedIn. https://n9.cl/lu884 CDC. (2021). ¿Qué significa tener mamas (senos) densas? Centers forDisease Control and Prevention. https://n9.cl/96j5b CDC. (2022). ¿Qué es una mamografía? Centers for Disease Control andPrevention. https://n9.cl/tdin Centeno Franco, A. (2019). Deep learning. [Trabajo de Grado, Universidad de Sevilla]. https://n9.cl/wm9fo Clements, J. (2021, febrero 8). K-nearest neighbors (K-NN) explained. Towards Data Science. https://n9.cl/n6j5w Datapeaker.com. (2021). Guía para principiantes de automatización en ciencia de datos.Datapeaker.com https://n9.cl/oh63t Durán, J. (2019). Técnicas de Regularización Básicas para Redes Neuronales. MetaDatos. https://n9.cl/4ukvf Elsevier, & Elsevier Connect. (2020, April 28). Inteligencia Artificial en entornos sanitarios. Tiposde algoritmos de “machine learning.” Elsevier Connect. https://n9.cl/z429o Esparza Andrés, M. (2018). Definición y aplicación de un entorno de programación para Deep Learning aplicado al procesado de imágenes. [Trabajo de grado, Universidad de Zaragoza]. https://n9.cl/spmoa Etherington, D. (2019). MIT AI tool can predict breast cancer up to 5 years early, works equallywell for white and black patients. TechCrunch. https://n9.cl/qbmvzy Gallucci G, Massa E, Funes CC, Tozzini R, Ghersevich S. (2021) The combination of mammaglobin A and TWIST-1 increases detection of circulating tumor cells in breastcancer. Jornal Brasileiro de Patologia e Medicina Laboratorial, 57(2) Géron, A. (2020). Aprende Machine Learning con Scikit-Learn, Keras y TensorFlow. Anaya. Gizlyk, D. (2021). Redes neuronales: así de sencillo (Parte 12):Dropout.Mql5.com. https://www.mql5.com/es/articles/9112 González-Díaz CA, Uscanga-Carmona MC, Lozano-Trenado LM, Ortíz JL, González JA, Guerrero-Robles CI (2017) Clinical Evaluation of Inductive Spectrometer to detect Breast Cancer. En: Torres I., Bustamante J., Sierra D. (eds) VII Congreso Latinoamericano de Ingeniería Biomédica CLAIB 2016, Bucaramanga, Santander, Colombia, 26 al 28 de octubre de 2016. Actas de la IFMBE (vol 60). Springer, Singapur.https://doi-org.ezproxy.unibague.edu.co/10.1007/978-981-10- 4086-3_170 Heras, J. M. (2019). Precision, Recall, F1, Accuracy en clasificación. IArtificial.net. https://n9.cl/9ynu5 IBM Cloud Education. (2020) What are neural networks? Ibm.Com. https://n9.cl/g1xku Instituto Nacional del Cáncer. (2011a). Diccionario de cáncer del NCI. resultado positivo falso de una prueba. https://n9.cl/y8z30 Instituto Nacional del Cáncer. (2011b). Diccionario de cáncer del NCI. resultado negativo falso de una prueba. https://n9.cl/c02o2 Instituto Nacional del Cáncer. (2021). ¿Qué es el cáncer? INC https://n9.cl/87itg J. Tang, R. M. Rangayyan, J. Xu, I. E. Naqa and Y. Yang, (March, 2009)"Computer-Aided Detection and Diagnosis of Breast Cancer With Mammography: Recent Advances," in IEEE Transactions on Information Technology in Biomedicine, vol. 13, no. 2, pp. 236- 251,doi: 10.1109/TITB.2008.2009441. Jiménez, M. P. (2018). Informe de Evento Cáncer de Mama y Cuello Uterino en Colombia, 2018. Instituto Nacional de Salud. https://n9.cl/d6v3e KeepCoding, R. (2020, noviembre 11). ¿Qué son las Redes Neuronales Convolucionales? KeepCoding Tech School. https://n9.cl/yrb3i Keras Team. (s/f). BatchNormalization layer. Keras.Io. https://n9.cl/zl49u Lee, C. H., Dershaw, D. D., Kopans, D., Evans, P., Monsees, B., Monticciolo, D., Brenner, R. J., Bassett, L., Berg, W., Feig, S., Hendrick, E., Mendelson, E., D’Orsi, C., Sickles, E., & Burhenne, L. W. (2010). Breast cancer screening with imaging: recommendations from the Society of Breast Imaging and the ACR on the use of mammography, breast MRI, breast ultrasound, and other technologies for the detection of clinically occult breast cancer. Journal of the American college of radiology, 7(1), 18-27. https://doi.org/10.1016/j.jacr.2009.09.022. Manrique Rojas, E. (2020). Machine Learning: análisis de lenguajes de programación y herramientas para desarrollo. Revista Ibérica de Sistemas e Tecnologias de Informação, (E28), 586-599. Manuales MSD. (2022). Las mamas. https://n9.cl/b94z1p Martínez Gómez, V. M. & Martínez, J. C. (2020). Cáncer de Mama y Cuello Uterino. Instituto Nacional de Salud. https://n9.cl/gpr91d MATLAB. (2022a). VGG-19 convolutional neural network. Mathworks.Com. https://n9.cl/c7h68 MATLAB. (2022b). MobileNet-v2 convolutional neural network. Mathworks.Com. https://n9.cl/rm5gc Mello-Thomps C, Dunn SM, Nodine CF, Kundel HL. (2019) Analysis of perceptual error in reading mammograms using quasi-local spatial frequency spectra. J Digital Imaging.2001; 14(3): 117-123. Mike, A. (2022). ¿Qué es el Transfer Learning? Formación en ciencia de datos | DataScientest.com. https://n9.cl/qdweg Morales MM, Camargo ML, Romo R., Graffigna JP (2013) Estudio Multicéntrico para el Análisis de Calidad de Imagen de Equipos Mamográficos con Tecnología Convencional. En: Folgueras Méndez J. et al. (eds) V Congreso Latinoamericano de Ingeniería Biomédica CLAIB 2011 16-21 de mayo de 2011, Habana, Cuba. Actas de IFMBE, (vol. 33). Springer,Berlín, Heidelberg. https://doi-org.ezproxy.unibague.edu.co/10.1007/978-3- 642-21198- 0_109 Na8. (2018). Algoritmo k-Nearest Neighbor. Aprendemachinelearning.com. Aprende Machine Learning. https://n9.cl/x5xl Na8. (2018). Convolutional Neural Networks: La Teoría explicada en Español. Aprendemachinelearning.Com. https://n9.cl/9r9sr NumPy. (2022) NumPy documentation.v1.22 Manual. Numpy.org. https://numpy.org/doc/stable/ Ochoa, M. (2019). Qué es Automated Machine Learning: la próxima generación de inteligencia artificial. IT Masters Mag. https://n9.cl/vaiiw OpenCV. (2022). About. https://opencv.org/about/ Otis, L. (2009). Literature and science in the nineteenth century: An anthology. OUP Oxford. https://n9.cl/338is Patel, K. (2020). COVID -19 Detector with VGG-19 convolutional neural network. Analytics Vidhya. https://n9.cl/b9cgn Pelletier, Charlotte & Webb, Geoffrey & Petitjean, François. (2019). Temporal Convolutional Neural Network for the Classification of Satellite Image Time Series. Remote Sensing. 11. 523. 10.3390/rs11050523 . Pérez-Aguilar, D., Risco-Ramos, R., & Casaverde-Pacherrez, L. (2021). Transfer learning en la clasificación binaria de imágenes térmicas transfer learning for binary classification of thermal images. Mach. Learn., 550(26), 4. Pragati Baheti. (2022). V7labs.com Splitting machine learning data: Train, validation,test set split. https://n9.cl/rjk1n Reiz, A. N., de la Hoz, M. A., & García, M. S. (2019). Big data analysis y machine learning en medicina intensiva. Medicina Intensiva, 43(7), 416-426. https://www.sciencedirect.com/science/article/abs/pii/S0210569118303139 Reyes-Cruz, J. L., Sánchez-Trujillo, M. G., & Mejía-Ramírez, R. (2019). Influencia De La Formación Universitaria En Las Actitudes Emprendedoras (The Influence of Higher Education on Entrepreneurial Attitudes). Revista CEA, 5(10). https://n9.cl/plhx8 Roca, J. (2020). Hardzone.es. https://n9.cl/rj5h4 Rodríguez, V. (2018, noviembre 17). Redes neuronales convolucionales. Vicente Rodríguez. https://vincentblog.xyz/posts/conceptos-basicos-sobre-redes- neuronales Rodriguez, V. (2018, noviembre 9). Dropout y batch normalization. Vincentblog.Xyz. https://vincentblog.xyz/posts/dropout-y-batch-normalization Rodríguez-Ruiz, A., Krupinski, E., Mordang, J.-J., Schilling, K., Heywang-Köbrunner, S. H., Sechopoulos, I., & Mann, R. M. (2019). Detection of breast cancer with mammography: Effect of an artificial intelligence support system. Radiology, 290(2), 305–314. https://doi.org/10.1148/radiol.2018181371 Rosebrock, A. (2019). Fine-tuning with Keras and Deep Learning. PyImageSearch https://n9.cl/ueug4 Rouhiainen, L. (2018). Inteligencia artificial. Madrid: Alienta Editorial. https://n9.cl/iha7 Sánchez Arenas, M. D. P. M., Álvarez-Díaz, C. D. J., & Durán Cárdenas, C.(2018). La técnica correcta para la exploración de mama. Revista de la Facultad de Medicina UNAM, 61(2), 44-50. https://n9.cl/xwu36 Sánchez, E. G., Nalvaiz, J. A., & Lozano, L. O. (2019). Introducción a las redes neuronales de convolución. Aplicación a la visión por ordenador. [Trabajo de grado, Universidad de Zaragoza]. https://n9.cl/m6tfm Sarkar, A. (2020). Creating DenseNet 121 with TensorFlow. Towards Data Science. https://n9.cl/iuv92 Scott C. Litin M.D. (2021). Mayo Clinic Family Health Book. 5th Edition. Mamografía- Mayo Clinic. Mayoclinic.org. Sotaquirá, M. (2019). Padding, strides, max-pooling y stacking en las Redes Convolucionales.Codificando Bits. https://n9.cl/4nl9o Sruthi, E. R. (2021). Random forest. Analytics Vidhya. https://n9.cl/vdplw Targ, S., Almeida, D., & Lyman, K. (2016). Resnet in resnet: Generalizing residual architectures. arXiv preprint arXiv:1603.08029. TensorFlow. (2022). TensorFlow. https://n9.cl/bpjjd Torralba, P. P. (2021). Qué son las Redes Neuronales Convolucionales. Thinking for Innovation. https://n9.cl/p418u Tsochatzidis, L., Costaridou, L., & Pratikakis, I. (2019). Deep learning for breast cancer diagnosis from mammograms—a comparative study. Journal of Imaging, 5(3), 37. UiPath. (2022) Regresión TPOT AutoML. https://n9.cl/o577z Valdivia-Silva, Julio, Pérez-Tulich, Luz, Flores-Olazo, Luis, Málaga-JULCA, Marco, Ubidia,Adolfo, Fleschman, Aaron, & Guio, Heinner. (2020). Desarrollo de un sistema microfluidico (lab-on-a-chip) accesible y de bajo costo para detección de células tumorales circulantes de cáncer de mama. Acta Médica Peruana, 37(1), 40-47.https://dx.doi.org/10.35663/amp.2020.371.967 Vallalta Rueda, J. (2020). CRISP-DM: una metodología para minería de datos en salud. Healthdataminer.com. Ventura-Alfaro, C. E. (2018). Errores de medición en la interpretación mamográfica por radiólogos. Rev. Salud pública, 20(4), 518-522 https://n9.cl/fn65e Villavicencio-Romero, M. E., Moreno-Daza, G. A., Ordóñez-Andrade, G. E., & Colcha, L. M. P. (2019). Diagnóstico por imágenes de cáncer de mamas. Comparación entre técnica ecográfica y mamografía. Dominio de las Ciencias, 5(3), 647-678. https://n9.cl/rrqfz Zaforas, M. (2018). TensorFlow, o cómo será el futuro de la Inteligencia Artificial, Paradigma Digital.com. https://n9.cl/7zsn5 Zephyrnet. (2022, marzo 1). Introducción básica a la red neuronal convolucional en aprendizaje profundo. Zephyrnet. https://n9.cl/9tpb2 Zhang, A., Lipton, Z. C., Li, M., & Smola, A. J. (2021). Adam. En Dive into deep learning. (pp.534-538). Cornell University. https://n9.cl/3rmlu |
| dc.rights.accessrights.none.fl_str_mv |
info:eu-repo/semantics/openAccess |
| dc.rights.coar.none.fl_str_mv |
http://purl.org/coar/access_right/c_abf2 |
| dc.rights.license.none.fl_str_mv |
Atribución-NoComercial 4.0 Internacional (CC BY-NC 4.0) |
| dc.rights.uri.none.fl_str_mv |
https://creativecommons.org/licenses/by-nc/4.0/ |
| eu_rights_str_mv |
openAccess |
| rights_invalid_str_mv |
http://purl.org/coar/access_right/c_abf2 Atribución-NoComercial 4.0 Internacional (CC BY-NC 4.0) https://creativecommons.org/licenses/by-nc/4.0/ |
| dc.format.extent.none.fl_str_mv |
115 páginas |
| dc.format.mimetype.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidad de Ibagué |
| dc.publisher.faculty.none.fl_str_mv |
Ingeniería |
| dc.publisher.place.none.fl_str_mv |
Ibagué |
| dc.publisher.program.none.fl_str_mv |
Ingeniería Electrónica |
| publisher.none.fl_str_mv |
Universidad de Ibagué |
| institution |
Universidad de Ibagué |
| bitstream.url.fl_str_mv |
https://repositorio.unibague.edu.co/bitstreams/967b8b5e-b256-48f9-91b6-6f2fdbbc4edf/download https://repositorio.unibague.edu.co/bitstreams/b2af66e1-5381-49a6-890f-1e0b6e6de7e7/download https://repositorio.unibague.edu.co/bitstreams/9cbae51f-680d-4465-9a01-891fa279b814/download https://repositorio.unibague.edu.co/bitstreams/88cc9143-c077-429f-a1b5-8ec16690c375/download https://repositorio.unibague.edu.co/bitstreams/dbfb9f02-4e9e-446a-9065-45175bc549e2/download https://repositorio.unibague.edu.co/bitstreams/1d59b193-0ce9-46bd-996d-110f323bccc3/download https://repositorio.unibague.edu.co/bitstreams/41f3f954-aaa4-4573-8369-a369c3bf8974/download |
| bitstream.checksum.fl_str_mv |
0cae273d859cea28ffb84b987bdeaf95 aed1e74d0e504a5fd70f11d131eccaa7 2fa3e590786b9c0f3ceba1b9656b7ac3 3cb8fb4416483ab162696db0e073eaf3 4e05d4525d8c54877f393479876334f5 7d06c31e0bd5345ba8f969a7999ba4ea 4154d358f18f000642fa1c2347e21699 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositorio Institucional Universidad de Ibagué |
| repository.mail.fl_str_mv |
bdigital@metabiblioteca.com |
| _version_ |
1851059988312621056 |
| spelling |
La Cruz Puente, Alexandra50afa4e6-4cd7-4cd9-a5ec-d27172fcc481-1Polo Villalobos, Leisson Duwer5d12ba7c-3ebe-425a-9b4e-0b3741693e34-12025-03-27T20:14:09Z2025-03-27T20:14:09Z2022En este trabajo se ha realizado un estudio comparativo de diferentes técnicas de aprendizaje automático aplicadas a la detección de hallazgos de cáncer de mama a partir de imágenes de mamografía. La herramienta actúa como un sistema sugestivo de posibles hallazgos patológicos, no debe ser considerada una herramienta diagnóstica. Esto permitirá el desarrollo de una herramienta de apoyo al personal médico al momento de realizar un diagnóstico. Para este estudio se utilizó la base de datos pública de Kaggle, concretamente, el conjunto de datos "MIAS Mammography", datos que ya cuentan con sus respectivas anotaciones. En este trabajo se evaluaron dos tipos de clasificación, clasificación binaria a partir de las calcificaciones (presencia de cáncer benigno o maligno) y clasificación multiclase para los casos malignos clasificar los distintos niveles de malignidad (CALC – Calcificación, CIRC – Masas definidas/circunscritas, SPIC - Masas espiculadas, MISC - Otras masas mal definidas, ARCH - Distorsión arquitectónica, ASYM – Asimetría, NORM - Normales). Los datos debieron ser pasados por un proceso de estructuración manual, con el fin de construir los datos de entrenamiento y validación por cada modelo. Finalmente, se evaluaron ocho (8) modelos en total, cuatro (4) de ellos para la clasificación binaria y cuatro (4) para laclasificación multiclase. Los modelos de clasificación binaria evaluados fueron las arquitecturas VGG-16, VGG-19, MobileNet-V2 y DenseNet-121. Los modelos de clasificación multiclase evaluados fueron: "K-Nearest Neighbors", "Random Forest", "Gradient Boosting" y "autoML". El análisis comparativo se realizó estandarizando el entorno de prueba con el mismo número de épocas y analizando los valores obtenidos en cuanto a precisión, tiempo de entrenamiento y F1.Se concluyó que la arquitectura DenseNet-121 obtuvo un mejor rendimiento como clasificador binario sobre los otros modelos, con una precisión de 0.9952, F1 de 0.96 y un tiempo de entrenamiento de 16.65 min. Entre los modelos de clasificación multiclase para la clasificación del grado de la lesión resultó mejor el de Random Forest con una precisión de 65.15, F1 de 0.53. El modelo VGG-16 logró una precisión de 0.7404 en 46.58 min y F1 de 0.60. El modelo VGG-19 obtuvo una precisión de 0.8365 en 60.60 min y F1 de 0.79. MobileNet-V2 logró una precisión de 0.9856 en 4.85 min y F1 de 0.96. Gradient boosting obtuvo un 62,63 de precisión, F1 de 0.52. K-neighbors con valor K = 8 obtuvo un 62,63% de precisión, F1 de 0.47 y el modelo autoML obtuvo un 64,65% de precisión, F1 de 0.47.In this work, a comparative study of different machine learning techniques applied to the detection of breast cancer findings from mammography images has been carried out. The tool acts as a suggestive system of possible pathological findings, it should not be considered a diagnostic tool. This will allow the development of a tool to support medical personnel when making a diagnosis. For this study, the Kaggle public database was used, specifically, the "MIAS Mammography" dataset, data that already have their respective annotations. Two types of classification were evaluated in this work, binary classification based on calcifications (presence of benign or malignant cancer) and multiclass classification for malignant cases to classify the different levels of malignancy (CALC - Calcification, CIRC - Definite/circumscribed masses, SPIC - Spiculated masses, MISC - Other ill-defined masses, ARCH - Architectural distortion, ASYM - Asymmetry, NORM - Normal). The data had to go through a manual structuring process in order to build the training and validation data for each model. Finally, a total of eight (8) models were evaluated, four (4) of them for binary classification and four (4) for multiclass classification. The binary classification models evaluated were the VGG-16, VGG-19, MobileNet-V2 and DenseNet-121 architectures. The multiclass classification models evaluated were: "K-Nearest Neighbors", "Random Forest", "Gradient Boosting" and "autoML". The comparative analysis was performed by standardizing the test environment with the same number of epochs and analyzing the values obtained in terms of accuracy, training time and F1. It was concluded that the DenseNet-121 architecture obtained a better performance as a binary classifier over the other models, with an accuracy of 0.9952, F1 of 0.96 and a training time of 16.65 min. Among the multiclass classification models for lesion grade classification the Random Forest model performed best with an accuracy of 65.15, F1 of 0.53. The VGG-16 model achieved an accuracy of 0.7404 in 46.58 min and F1 of 0.60. Model VGG-19 achieved an accuracy of 0.8365 in 60.60 min and F1 of 0.79. MobileNet-V2 achieved an accuracy of 0.9856 in 4.85 min and F1 of 0.96. Gradient boosting achieved 62.63 accuracy, F1 of 0.52. K-neighbors with K = 8 achieved 62.63% accuracy, F1 of 0.47 and autoML model achieved 64.65% accuracy, F1 of 0.47.PregradoIngeniero ElectrónicoIntroducción.....11 Problema de ingeniería.....15 Objetivos.....17 General.....17 Específicos.....17 Marco Referencial.....18 Estado del Arte.....18 Marco Conceptual.....21 Inteligencia Artificial (IA).....21 Machine Learning (ML).....22 Deep Learning (DL).....22 Neural Networks (NN).....23 Aprendizaje Supervisado.....24 Aprendizaje no Supervisado.....25 Aprendizaje por Refuerzo.....25 Red Neuronal Convolucional.....26 Tensor.....26 Pooling.....27 Stride.....28 Paddin.....29 Convolución.....30 Batch Normalization.....30 ReLU.....31 Flatten.....31 Dropout.....31 Capa Softmax.....33 Fully Connected Layer.....33 Batch.....34 Transfer Learning.....34 Datos de Entrenamiento (training dataset).....35 Datos de Validación (validation dataset).....35 Datos de Prueba (test dataset).....35 Sobreajuste (Overfitting).....36 Infra ajuste (Underfitting).....36 Fine tuning.....37 Tecnologías Utilizadas.....38 OpenCV.....38 NumPy.....38 Scikit learn.....38 TensorFlow.....39 Metodologías.....40 Objetivo 1.....40 Fase 1.....40 Objetivo 2.....41 Fase 2.....41 Fase 3.....41 Fase 4.....42 Objetivo 3.....42 Este objetivo se desarrolló en una sola fase.....42 Fase 5.....42 Objetivo 4.....42 Metodología Para el Desarrollo de la Fase 3.....43 Metodología Para el Desarrollo de la Fase 4.....44 Materiales y Métodos.....44 Desarrollo de la Fase 1.....44 Arquitecturas de Red Neuronal Estudiadas.....46 Métricas.....53 Conceptos Clínicos.....55 Hardware.....58 Lenguaje de Programación Utilizado.....59 Desarrollo De Los Modelos.....60 Desarrollo de la Fase 2.....60 Actualización del Entorno.....60 Importación de Paquetes Necesarios.....60 Importación del Dataset.....61 Escaneo.....61 Desarrollo de la Fase 3.....67 Construcción de Modelos.....67 Entrenamiento.....77 Resultados.....80 Desarrollo de la Fase 5.....80 Predicción.....81 Evaluación de los Modelos de Clasificación Binaria por calcificaciones (Benigno y Maligno).....81 Prueba del Modelo Final y Resultados.....85 Matriz de Confusión.....86 Desarrollo de la fase 4.....88 K Nearest Neighbors.....89 Random Forest.....90 Gradient Boosting.....91 AutoML.....92 Aciertos de los Modelos de Clasificación del Tipo de Lesión.....93 Recomendaciones y Trabajos Futuros.....95 Conclusiones.....96 Referencias.....98 Algoritmos.....105115 páginasapplication/pdfPolo Villalobos, L. D.(2022).Análisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de Mamografía.[Trabajo de grado, Universidad de Ibagué]. https://hdl.handle.net/20.500.12313/4907https://hdl.handle.net/20.500.12313/4907spaUniversidad de IbaguéIngenieríaIbaguéIngeniería ElectrónicaArancibia, P., Taub, T., de Grazia, J. A., Díaz, M. L., López, A., Sáez, C., & Cermenati, T. (2013). Microcalcificaciones mamarias: revisión de los descriptores y categorías BI-RADS. Revista chilena de obstetricia y ginecología, 78(5), 383z394. https://n9.cl/zrbj7Acervo Lima. (2022). Tpot AutoML. Acervolima.com. https://n9.cl/qj2lsAmat Rodriguez, J. (2020). Gradient Boosting con python. Ciencia De Datos.net. https://n9.cl/fbawtBonilla Carrión, C. (2020). Redes Convolucionales. [Trabajo de Grado]. Universidad de Sevilla, SevillaBronshtein, A. (2017). Train/Test Split and Cross Validation in Python. TowardsData Science. https://n9.cl/tz05q .Casas Gonzalez J. M. (2020). Tuneando los hiperparámetros de una red neuronal LSTM para obtener un aprendizaje más eficiente. LinkedIn. https://n9.cl/lu884CDC. (2021). ¿Qué significa tener mamas (senos) densas? Centers forDisease Control and Prevention. https://n9.cl/96j5bCDC. (2022). ¿Qué es una mamografía? Centers for Disease Control andPrevention. https://n9.cl/tdinCenteno Franco, A. (2019). Deep learning. [Trabajo de Grado, Universidad de Sevilla]. https://n9.cl/wm9foClements, J. (2021, febrero 8). K-nearest neighbors (K-NN) explained. Towards Data Science. https://n9.cl/n6j5wDatapeaker.com. (2021). Guía para principiantes de automatización en ciencia de datos.Datapeaker.com https://n9.cl/oh63tDurán, J. (2019). Técnicas de Regularización Básicas para Redes Neuronales. MetaDatos. https://n9.cl/4ukvfElsevier, & Elsevier Connect. (2020, April 28). Inteligencia Artificial en entornos sanitarios. Tiposde algoritmos de “machine learning.” Elsevier Connect. https://n9.cl/z429oEsparza Andrés, M. (2018). Definición y aplicación de un entorno de programación para Deep Learning aplicado al procesado de imágenes. [Trabajo de grado, Universidad de Zaragoza]. https://n9.cl/spmoaEtherington, D. (2019). MIT AI tool can predict breast cancer up to 5 years early, works equallywell for white and black patients. TechCrunch. https://n9.cl/qbmvzyGallucci G, Massa E, Funes CC, Tozzini R, Ghersevich S. (2021) The combination of mammaglobin A and TWIST-1 increases detection of circulating tumor cells in breastcancer. Jornal Brasileiro de Patologia e Medicina Laboratorial, 57(2)Géron, A. (2020). Aprende Machine Learning con Scikit-Learn, Keras y TensorFlow. Anaya.Gizlyk, D. (2021). Redes neuronales: así de sencillo (Parte 12):Dropout.Mql5.com. https://www.mql5.com/es/articles/9112González-Díaz CA, Uscanga-Carmona MC, Lozano-Trenado LM, Ortíz JL, González JA, Guerrero-Robles CI (2017) Clinical Evaluation of Inductive Spectrometer to detect Breast Cancer. En: Torres I., Bustamante J., Sierra D. (eds) VII Congreso Latinoamericano de Ingeniería Biomédica CLAIB 2016, Bucaramanga, Santander, Colombia, 26 al 28 de octubre de 2016. Actas de la IFMBE (vol 60). Springer, Singapur.https://doi-org.ezproxy.unibague.edu.co/10.1007/978-981-10- 4086-3_170Heras, J. M. (2019). Precision, Recall, F1, Accuracy en clasificación. IArtificial.net. https://n9.cl/9ynu5IBM Cloud Education. (2020) What are neural networks? Ibm.Com. https://n9.cl/g1xkuInstituto Nacional del Cáncer. (2011a). Diccionario de cáncer del NCI. resultado positivo falso de una prueba. https://n9.cl/y8z30Instituto Nacional del Cáncer. (2011b). Diccionario de cáncer del NCI. resultado negativo falso de una prueba. https://n9.cl/c02o2Instituto Nacional del Cáncer. (2021). ¿Qué es el cáncer? INC https://n9.cl/87itgJ. Tang, R. M. Rangayyan, J. Xu, I. E. Naqa and Y. Yang, (March, 2009)"Computer-Aided Detection and Diagnosis of Breast Cancer With Mammography: Recent Advances," in IEEE Transactions on Information Technology in Biomedicine, vol. 13, no. 2, pp. 236- 251,doi: 10.1109/TITB.2008.2009441.Jiménez, M. P. (2018). Informe de Evento Cáncer de Mama y Cuello Uterino en Colombia, 2018. Instituto Nacional de Salud. https://n9.cl/d6v3eKeepCoding, R. (2020, noviembre 11). ¿Qué son las Redes Neuronales Convolucionales? KeepCoding Tech School. https://n9.cl/yrb3iKeras Team. (s/f). BatchNormalization layer. Keras.Io. https://n9.cl/zl49uLee, C. H., Dershaw, D. D., Kopans, D., Evans, P., Monsees, B., Monticciolo, D., Brenner, R. J., Bassett, L., Berg, W., Feig, S., Hendrick, E., Mendelson, E., D’Orsi, C., Sickles, E., & Burhenne, L. W. (2010). Breast cancer screening with imaging: recommendations from the Society of Breast Imaging and the ACR on the use of mammography, breast MRI, breast ultrasound, and other technologies for the detection of clinically occult breast cancer. Journal of the American college of radiology, 7(1), 18-27. https://doi.org/10.1016/j.jacr.2009.09.022.Manrique Rojas, E. (2020). Machine Learning: análisis de lenguajes de programación y herramientas para desarrollo. Revista Ibérica de Sistemas e Tecnologias de Informação, (E28), 586-599.Manuales MSD. (2022). Las mamas. https://n9.cl/b94z1pMartínez Gómez, V. M. & Martínez, J. C. (2020). Cáncer de Mama y Cuello Uterino. Instituto Nacional de Salud. https://n9.cl/gpr91dMATLAB. (2022a). VGG-19 convolutional neural network. Mathworks.Com. https://n9.cl/c7h68MATLAB. (2022b). MobileNet-v2 convolutional neural network. Mathworks.Com. https://n9.cl/rm5gcMello-Thomps C, Dunn SM, Nodine CF, Kundel HL. (2019) Analysis of perceptual error in reading mammograms using quasi-local spatial frequency spectra. J Digital Imaging.2001; 14(3): 117-123.Mike, A. (2022). ¿Qué es el Transfer Learning? Formación en ciencia de datos | DataScientest.com. https://n9.cl/qdwegMorales MM, Camargo ML, Romo R., Graffigna JP (2013) Estudio Multicéntrico para el Análisis de Calidad de Imagen de Equipos Mamográficos con Tecnología Convencional. En: Folgueras Méndez J. et al. (eds) V Congreso Latinoamericano de Ingeniería Biomédica CLAIB 2011 16-21 de mayo de 2011, Habana, Cuba. Actas de IFMBE, (vol. 33). Springer,Berlín, Heidelberg. https://doi-org.ezproxy.unibague.edu.co/10.1007/978-3- 642-21198- 0_109Na8. (2018). Algoritmo k-Nearest Neighbor. Aprendemachinelearning.com. Aprende Machine Learning. https://n9.cl/x5xlNa8. (2018). Convolutional Neural Networks: La Teoría explicada en Español. Aprendemachinelearning.Com. https://n9.cl/9r9srNumPy. (2022) NumPy documentation.v1.22 Manual. Numpy.org. https://numpy.org/doc/stable/Ochoa, M. (2019). Qué es Automated Machine Learning: la próxima generación de inteligencia artificial. IT Masters Mag. https://n9.cl/vaiiwOpenCV. (2022). About. https://opencv.org/about/Otis, L. (2009). Literature and science in the nineteenth century: An anthology. OUP Oxford. https://n9.cl/338isPatel, K. (2020). COVID -19 Detector with VGG-19 convolutional neural network. Analytics Vidhya. https://n9.cl/b9cgnPelletier, Charlotte & Webb, Geoffrey & Petitjean, François. (2019). Temporal Convolutional Neural Network for the Classification of Satellite Image Time Series. Remote Sensing. 11. 523. 10.3390/rs11050523 .Pérez-Aguilar, D., Risco-Ramos, R., & Casaverde-Pacherrez, L. (2021). Transfer learning en la clasificación binaria de imágenes térmicas transfer learning for binary classification of thermal images. Mach. Learn., 550(26), 4.Pragati Baheti. (2022). V7labs.com Splitting machine learning data: Train, validation,test set split. https://n9.cl/rjk1nReiz, A. N., de la Hoz, M. A., & García, M. S. (2019). Big data analysis y machine learning en medicina intensiva. Medicina Intensiva, 43(7), 416-426. https://www.sciencedirect.com/science/article/abs/pii/S0210569118303139Reyes-Cruz, J. L., Sánchez-Trujillo, M. G., & Mejía-Ramírez, R. (2019). Influencia De La Formación Universitaria En Las Actitudes Emprendedoras (The Influence of Higher Education on Entrepreneurial Attitudes). Revista CEA, 5(10). https://n9.cl/plhx8Roca, J. (2020). Hardzone.es. https://n9.cl/rj5h4Rodríguez, V. (2018, noviembre 17). Redes neuronales convolucionales. Vicente Rodríguez. https://vincentblog.xyz/posts/conceptos-basicos-sobre-redes- neuronalesRodriguez, V. (2018, noviembre 9). Dropout y batch normalization. Vincentblog.Xyz. https://vincentblog.xyz/posts/dropout-y-batch-normalizationRodríguez-Ruiz, A., Krupinski, E., Mordang, J.-J., Schilling, K., Heywang-Köbrunner, S. H., Sechopoulos, I., & Mann, R. M. (2019). Detection of breast cancer with mammography: Effect of an artificial intelligence support system. Radiology, 290(2), 305–314. https://doi.org/10.1148/radiol.2018181371Rosebrock, A. (2019). Fine-tuning with Keras and Deep Learning. PyImageSearch https://n9.cl/ueug4Rouhiainen, L. (2018). Inteligencia artificial. Madrid: Alienta Editorial. https://n9.cl/iha7Sánchez Arenas, M. D. P. M., Álvarez-Díaz, C. D. J., & Durán Cárdenas, C.(2018). La técnica correcta para la exploración de mama. Revista de la Facultad de Medicina UNAM, 61(2), 44-50. https://n9.cl/xwu36Sánchez, E. G., Nalvaiz, J. A., & Lozano, L. O. (2019). Introducción a las redes neuronales de convolución. Aplicación a la visión por ordenador. [Trabajo de grado, Universidad de Zaragoza]. https://n9.cl/m6tfmSarkar, A. (2020). Creating DenseNet 121 with TensorFlow. Towards Data Science. https://n9.cl/iuv92Scott C. Litin M.D. (2021). Mayo Clinic Family Health Book. 5th Edition. Mamografía- Mayo Clinic. Mayoclinic.org.Sotaquirá, M. (2019). Padding, strides, max-pooling y stacking en las Redes Convolucionales.Codificando Bits. https://n9.cl/4nl9oSruthi, E. R. (2021). Random forest. Analytics Vidhya. https://n9.cl/vdplwTarg, S., Almeida, D., & Lyman, K. (2016). Resnet in resnet: Generalizing residual architectures. arXiv preprint arXiv:1603.08029.TensorFlow. (2022). TensorFlow. https://n9.cl/bpjjdTorralba, P. P. (2021). Qué son las Redes Neuronales Convolucionales. Thinking for Innovation. https://n9.cl/p418uTsochatzidis, L., Costaridou, L., & Pratikakis, I. (2019). Deep learning for breast cancer diagnosis from mammograms—a comparative study. Journal of Imaging, 5(3), 37.UiPath. (2022) Regresión TPOT AutoML. https://n9.cl/o577zValdivia-Silva, Julio, Pérez-Tulich, Luz, Flores-Olazo, Luis, Málaga-JULCA, Marco, Ubidia,Adolfo, Fleschman, Aaron, & Guio, Heinner. (2020). Desarrollo de un sistema microfluidico (lab-on-a-chip) accesible y de bajo costo para detección de células tumorales circulantes de cáncer de mama. Acta Médica Peruana, 37(1), 40-47.https://dx.doi.org/10.35663/amp.2020.371.967Vallalta Rueda, J. (2020). CRISP-DM: una metodología para minería de datos en salud. Healthdataminer.com.Ventura-Alfaro, C. E. (2018). Errores de medición en la interpretación mamográfica por radiólogos. Rev. Salud pública, 20(4), 518-522 https://n9.cl/fn65eVillavicencio-Romero, M. E., Moreno-Daza, G. A., Ordóñez-Andrade, G. E., & Colcha, L. M. P. (2019). Diagnóstico por imágenes de cáncer de mamas. Comparación entre técnica ecográfica y mamografía. Dominio de las Ciencias, 5(3), 647-678. https://n9.cl/rrqfzZaforas, M. (2018). TensorFlow, o cómo será el futuro de la Inteligencia Artificial, Paradigma Digital.com. https://n9.cl/7zsn5Zephyrnet. (2022, marzo 1). Introducción básica a la red neuronal convolucional en aprendizaje profundo. Zephyrnet. https://n9.cl/9tpb2Zhang, A., Lipton, Z. C., Li, M., & Smola, A. J. (2021). Adam. En Dive into deep learning. (pp.534-538). Cornell University. https://n9.cl/3rmluinfo:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Atribución-NoComercial 4.0 Internacional (CC BY-NC 4.0)https://creativecommons.org/licenses/by-nc/4.0/Cáncer de mama - Imágenes - Patrones sugestivosMétodos de Machine Learning - Cancer de mamaCáncer de mama - ImágenesCáncer de mamaIAAprendizaje automáticoMamografíaArquitecturasBreast cancerAIMachine learningMammographyArchitecturesAnálisis comparativo de métodos de machine learning para la detección de patrones sugestivos de cáncer de mama a partir de Imágenes de MamografíaTrabajo de grado - Pregradohttp://purl.org/coar/resource_type/c_7a1fTextinfo:eu-repo/semantics/bachelorThesishttp://purl.org/redcol/resource_type/TPinfo:eu-repo/semantics/acceptedVersionPublicationORIGINALTrabajo de grado.pdfTrabajo de grado.pdfapplication/pdf2135553https://repositorio.unibague.edu.co/bitstreams/967b8b5e-b256-48f9-91b6-6f2fdbbc4edf/download0cae273d859cea28ffb84b987bdeaf95MD51Formato de autorización.pdfFormato de autorización.pdfapplication/pdf479001https://repositorio.unibague.edu.co/bitstreams/b2af66e1-5381-49a6-890f-1e0b6e6de7e7/downloadaed1e74d0e504a5fd70f11d131eccaa7MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-8134https://repositorio.unibague.edu.co/bitstreams/9cbae51f-680d-4465-9a01-891fa279b814/download2fa3e590786b9c0f3ceba1b9656b7ac3MD53TEXTTrabajo de grado.pdf.txtTrabajo de grado.pdf.txtExtracted texttext/plain101724https://repositorio.unibague.edu.co/bitstreams/88cc9143-c077-429f-a1b5-8ec16690c375/download3cb8fb4416483ab162696db0e073eaf3MD58Formato de autorización.pdf.txtFormato de autorización.pdf.txtExtracted texttext/plain3512https://repositorio.unibague.edu.co/bitstreams/dbfb9f02-4e9e-446a-9065-45175bc549e2/download4e05d4525d8c54877f393479876334f5MD510THUMBNAILTrabajo de grado.pdf.jpgTrabajo de grado.pdf.jpgIM Thumbnailimage/jpeg7405https://repositorio.unibague.edu.co/bitstreams/1d59b193-0ce9-46bd-996d-110f323bccc3/download7d06c31e0bd5345ba8f969a7999ba4eaMD59Formato de autorización.pdf.jpgFormato de autorización.pdf.jpgIM Thumbnailimage/jpeg23625https://repositorio.unibague.edu.co/bitstreams/41f3f954-aaa4-4573-8369-a369c3bf8974/download4154d358f18f000642fa1c2347e21699MD51120.500.12313/4907oai:repositorio.unibague.edu.co:20.500.12313/49072025-08-13 01:15:07.972https://creativecommons.org/licenses/by-nc/4.0/https://repositorio.unibague.edu.coRepositorio Institucional Universidad de Ibaguébdigital@metabiblioteca.comQ3JlYXRpdmUgQ29tbW9ucyBBdHRyaWJ1dGlvbi1Ob25Db21tZXJjaWFsLU5vRGVyaXZhdGl2ZXMgNC4wIEludGVybmF0aW9uYWwgTGljZW5zZQ0KaHR0cHM6Ly9jcmVhdGl2ZWNvbW1vbnMub3JnL2xpY2Vuc2VzL2J5LW5jLW5kLzQuMC8= |
