Automatización de monitoreo y alertas para la comunidad analítica. Semestre de Industria
RESUMEN : En este proyecto se desarrolló un sistema automatizado para monitorear y alertar sobre el comportamiento de las bases de datos en la Landing Zone (LZ) de Bancolombia, un entorno basado en tecnología Hadoop que facilita el almacenamiento y procesamiento de grandes volúmenes de datos. El obj...
- Autores:
-
Uribe Zapata, Sara
- Tipo de recurso:
- Trabajo de grado de pregrado
- Fecha de publicación:
- 2025
- Institución:
- Universidad de Antioquia
- Repositorio:
- Repositorio UdeA
- Idioma:
- spa
- OAI Identifier:
- oai:bibliotecadigital.udea.edu.co:10495/45544
- Acceso en línea:
- https://hdl.handle.net/10495/45544
- Palabra clave:
- Electronic data processing
Mejoramiento de procesos - Automatización
Process improvement - Automation
Administración de bases de datos
Data base management
Procesamiento electrónico de datos
- Rights
- openAccess
- License
- https://creativecommons.org/licenses/by-nc-sa/4.0/
| id |
UDEA2_1469e9de20a5aefc466e7cb66b505798 |
|---|---|
| oai_identifier_str |
oai:bibliotecadigital.udea.edu.co:10495/45544 |
| network_acronym_str |
UDEA2 |
| network_name_str |
Repositorio UdeA |
| repository_id_str |
|
| dc.title.spa.fl_str_mv |
Automatización de monitoreo y alertas para la comunidad analítica. Semestre de Industria |
| title |
Automatización de monitoreo y alertas para la comunidad analítica. Semestre de Industria |
| spellingShingle |
Automatización de monitoreo y alertas para la comunidad analítica. Semestre de Industria Electronic data processing Mejoramiento de procesos - Automatización Process improvement - Automation Administración de bases de datos Data base management Procesamiento electrónico de datos |
| title_short |
Automatización de monitoreo y alertas para la comunidad analítica. Semestre de Industria |
| title_full |
Automatización de monitoreo y alertas para la comunidad analítica. Semestre de Industria |
| title_fullStr |
Automatización de monitoreo y alertas para la comunidad analítica. Semestre de Industria |
| title_full_unstemmed |
Automatización de monitoreo y alertas para la comunidad analítica. Semestre de Industria |
| title_sort |
Automatización de monitoreo y alertas para la comunidad analítica. Semestre de Industria |
| dc.creator.fl_str_mv |
Uribe Zapata, Sara |
| dc.contributor.advisor.none.fl_str_mv |
Loaiza Berrio, Deisy |
| dc.contributor.author.none.fl_str_mv |
Uribe Zapata, Sara |
| dc.subject.lemb.none.fl_str_mv |
Electronic data processing Mejoramiento de procesos - Automatización Process improvement - Automation Administración de bases de datos Data base management Procesamiento electrónico de datos |
| topic |
Electronic data processing Mejoramiento de procesos - Automatización Process improvement - Automation Administración de bases de datos Data base management Procesamiento electrónico de datos |
| description |
RESUMEN : En este proyecto se desarrolló un sistema automatizado para monitorear y alertar sobre el comportamiento de las bases de datos en la Landing Zone (LZ) de Bancolombia, un entorno basado en tecnología Hadoop que facilita el almacenamiento y procesamiento de grandes volúmenes de datos. El objetivo principal fue detectar y gestionar las anomalías en el crecimiento de las bases de datos, garantizando un uso eficiente de los recursos de almacenamiento y fortaleciendo la labor de la comunidad analítica del banco. La metodología incluyó el análisis de los datos almacenados, la definición de criterios de alerta basados en variaciones de tamaño y uso de tablas, el desarrollo de un programa en Python utilizando la librería Orquestador-2, y la implementación de un reporte interactivo en Power BI. Durante las pruebas, los administradores de las bases de datos mostraron una disposición activa frente a las alertas, lo que permitió depurar tablas no consultadas y comprender mejor las razones de la falta de formalización de algunas tablas. Entre los resultados se destacó la efectividad del sistema para identificar anomalías y el impacto positivo de las alertas en la colaboración con los administradores de las bases de datos. Además, el reporte en Power BI ofreció una herramienta visual clave para analizar tendencias y tomar decisiones informadas. |
| publishDate |
2025 |
| dc.date.accessioned.none.fl_str_mv |
2025-03-14T19:59:56Z |
| dc.date.available.none.fl_str_mv |
2025-03-14T19:59:56Z |
| dc.date.issued.none.fl_str_mv |
2025 |
| dc.type.spa.fl_str_mv |
Tesis/Trabajo de grado - Monografía - Pregrado |
| dc.type.coar.spa.fl_str_mv |
http://purl.org/coar/resource_type/c_7a1f |
| dc.type.redcol.spa.fl_str_mv |
https://purl.org/redcol/resource_type/TP |
| dc.type.coarversion.spa.fl_str_mv |
http://purl.org/coar/version/c_b1a7d7d4d402bcce |
| dc.type.driver.spa.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| dc.type.version.spa.fl_str_mv |
info:eu-repo/semantics/draft |
| format |
http://purl.org/coar/resource_type/c_7a1f |
| status_str |
draft |
| dc.identifier.uri.none.fl_str_mv |
https://hdl.handle.net/10495/45544 |
| url |
https://hdl.handle.net/10495/45544 |
| dc.language.iso.spa.fl_str_mv |
spa |
| language |
spa |
| dc.rights.uri.spa.fl_str_mv |
https://creativecommons.org/licenses/by-nc-sa/4.0/ |
| dc.rights.accessrights.spa.fl_str_mv |
info:eu-repo/semantics/openAccess |
| dc.rights.coar.spa.fl_str_mv |
http://purl.org/coar/access_right/c_abf2 |
| rights_invalid_str_mv |
https://creativecommons.org/licenses/by-nc-sa/4.0/ http://purl.org/coar/access_right/c_abf2 |
| eu_rights_str_mv |
openAccess |
| dc.format.extent.spa.fl_str_mv |
23 páginas |
| dc.format.mimetype.spa.fl_str_mv |
application/pdf |
| dc.publisher.spa.fl_str_mv |
Universidad de Antioquia |
| dc.publisher.place.spa.fl_str_mv |
Medellín, Colombia |
| dc.publisher.faculty.spa.fl_str_mv |
Facultad de Ingeniería. Ingeniería de Sistemas |
| institution |
Universidad de Antioquia |
| bitstream.url.fl_str_mv |
https://bibliotecadigital.udea.edu.co/bitstreams/ae231367-8d73-436f-815f-d7117d4f00da/download https://bibliotecadigital.udea.edu.co/bitstreams/f7ed3b59-3efc-463f-9b5d-b939d47f2aeb/download https://bibliotecadigital.udea.edu.co/bitstreams/1e278d3c-101b-4eb1-9cfc-f5cb3035559d/download https://bibliotecadigital.udea.edu.co/bitstreams/deb43ea1-fa8a-41c8-9a68-4064fbf648e9/download https://bibliotecadigital.udea.edu.co/bitstreams/94fc0e71-a465-458f-9d4b-4f78d39584d6/download https://bibliotecadigital.udea.edu.co/bitstreams/3e804051-fa2d-4775-a2c5-63ec1a7a1521/download https://bibliotecadigital.udea.edu.co/bitstreams/9b84296a-dbf3-4fae-99a3-ef2ca0300f05/download |
| bitstream.checksum.fl_str_mv |
5bfa6922e3b562c6520b5d479723c126 5e915c9d2cea77394daa661125a2d468 8a4605be74aa9ea9d79846c1fba20a33 928bd349a035d7955ae01b705094b7df d03ea8d539855818ee760263721b5b51 7d25a92140e0ee3dbe7b1b69446b31e5 2c619990ea6745899a80cc0bdeb9298b |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositorio Institucional de la Universidad de Antioquia |
| repository.mail.fl_str_mv |
aplicacionbibliotecadigitalbiblioteca@udea.edu.co |
| _version_ |
1851052178223923200 |
| spelling |
Loaiza Berrio, DeisyUribe Zapata, Sara2025-03-14T19:59:56Z2025-03-14T19:59:56Z2025https://hdl.handle.net/10495/45544RESUMEN : En este proyecto se desarrolló un sistema automatizado para monitorear y alertar sobre el comportamiento de las bases de datos en la Landing Zone (LZ) de Bancolombia, un entorno basado en tecnología Hadoop que facilita el almacenamiento y procesamiento de grandes volúmenes de datos. El objetivo principal fue detectar y gestionar las anomalías en el crecimiento de las bases de datos, garantizando un uso eficiente de los recursos de almacenamiento y fortaleciendo la labor de la comunidad analítica del banco. La metodología incluyó el análisis de los datos almacenados, la definición de criterios de alerta basados en variaciones de tamaño y uso de tablas, el desarrollo de un programa en Python utilizando la librería Orquestador-2, y la implementación de un reporte interactivo en Power BI. Durante las pruebas, los administradores de las bases de datos mostraron una disposición activa frente a las alertas, lo que permitió depurar tablas no consultadas y comprender mejor las razones de la falta de formalización de algunas tablas. Entre los resultados se destacó la efectividad del sistema para identificar anomalías y el impacto positivo de las alertas en la colaboración con los administradores de las bases de datos. Además, el reporte en Power BI ofreció una herramienta visual clave para analizar tendencias y tomar decisiones informadas.ABSTRACT : This project developed an automated system to monitor and alert on the behavior of databases within Bancolombia's Landing Zone (LZ), a Hadoop-based environment designed for the storage and processing of large Datasets. The primary objective was to detect and manage anomalies in database growth, ensuring efficient storage resource usage while strengthening the analytical community's role within the bank. The methodology involved analyzing stored data, defining alert criteria based on size variations and table usage, developing a Python program utilizing the Orquestador-2 library, and implementing an interactive Power BI report. During testing, database administrators demonstrated a proactive approach to the alerts, enabling the cleanup of unused tables and fostering a better understanding of the reasons behind the lack of formalization of certain tables. The results highlighted the system's effectiveness in identifying anomalies and the positive impact of alerts on collaboration with database administrators. Furthermore, the Power BI report provided a critical visual tool to analyze trends and support informed decision-making.PregradoIngeniera de Sistemas23 páginasapplication/pdfspaUniversidad de AntioquiaMedellín, ColombiaFacultad de Ingeniería. Ingeniería de Sistemashttps://creativecommons.org/licenses/by-nc-sa/4.0/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Automatización de monitoreo y alertas para la comunidad analítica. Semestre de IndustriaTesis/Trabajo de grado - Monografía - Pregradohttp://purl.org/coar/resource_type/c_7a1fhttps://purl.org/redcol/resource_type/TPhttp://purl.org/coar/version/c_b1a7d7d4d402bcceinfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/draftElectronic data processingMejoramiento de procesos - AutomatizaciónProcess improvement - AutomationAdministración de bases de datosData base managementProcesamiento electrónico de datosPublicationORIGINALUribeSara_2025_AutomatizacionComunidadAnalitica.pdfUribeSara_2025_AutomatizacionComunidadAnalitica.pdfTrabajo de grado de pregradoapplication/pdf675501https://bibliotecadigital.udea.edu.co/bitstreams/ae231367-8d73-436f-815f-d7117d4f00da/download5bfa6922e3b562c6520b5d479723c126MD56trueAnonymousREADPoster.pdfPoster.pdfAnexoapplication/pdf1156745https://bibliotecadigital.udea.edu.co/bitstreams/f7ed3b59-3efc-463f-9b5d-b939d47f2aeb/download5e915c9d2cea77394daa661125a2d468MD54falseAnonymousREADLICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://bibliotecadigital.udea.edu.co/bitstreams/1e278d3c-101b-4eb1-9cfc-f5cb3035559d/download8a4605be74aa9ea9d79846c1fba20a33MD57falseAnonymousREADTEXTUribeSara_2025_AutomatizacionComunidadAnalitica.pdf.txtUribeSara_2025_AutomatizacionComunidadAnalitica.pdf.txtExtracted texttext/plain29133https://bibliotecadigital.udea.edu.co/bitstreams/deb43ea1-fa8a-41c8-9a68-4064fbf648e9/download928bd349a035d7955ae01b705094b7dfMD512falseAnonymousREADPoster.pdf.txtPoster.pdf.txtExtracted texttext/plain3279https://bibliotecadigital.udea.edu.co/bitstreams/94fc0e71-a465-458f-9d4b-4f78d39584d6/downloadd03ea8d539855818ee760263721b5b51MD514falseAnonymousREADTHUMBNAILUribeSara_2025_AutomatizacionComunidadAnalitica.pdf.jpgUribeSara_2025_AutomatizacionComunidadAnalitica.pdf.jpgGenerated Thumbnailimage/jpeg5758https://bibliotecadigital.udea.edu.co/bitstreams/3e804051-fa2d-4775-a2c5-63ec1a7a1521/download7d25a92140e0ee3dbe7b1b69446b31e5MD513falseAnonymousREADPoster.pdf.jpgPoster.pdf.jpgGenerated Thumbnailimage/jpeg20612https://bibliotecadigital.udea.edu.co/bitstreams/9b84296a-dbf3-4fae-99a3-ef2ca0300f05/download2c619990ea6745899a80cc0bdeb9298bMD515falseAnonymousREAD10495/45544oai:bibliotecadigital.udea.edu.co:10495/455442025-03-26 18:10:12.415https://creativecommons.org/licenses/by-nc-sa/4.0/open.accesshttps://bibliotecadigital.udea.edu.coRepositorio Institucional de la Universidad de Antioquiaaplicacionbibliotecadigitalbiblioteca@udea.edu.coTk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo= |