Automatización de monitoreo y alertas para la comunidad analítica. Semestre de Industria

RESUMEN : En este proyecto se desarrolló un sistema automatizado para monitorear y alertar sobre el comportamiento de las bases de datos en la Landing Zone (LZ) de Bancolombia, un entorno basado en tecnología Hadoop que facilita el almacenamiento y procesamiento de grandes volúmenes de datos. El obj...

Full description

Autores:
Uribe Zapata, Sara
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2025
Institución:
Universidad de Antioquia
Repositorio:
Repositorio UdeA
Idioma:
spa
OAI Identifier:
oai:bibliotecadigital.udea.edu.co:10495/45544
Acceso en línea:
https://hdl.handle.net/10495/45544
Palabra clave:
Electronic data processing
Mejoramiento de procesos - Automatización
Process improvement - Automation
Administración de bases de datos
Data base management
Procesamiento electrónico de datos
Rights
openAccess
License
https://creativecommons.org/licenses/by-nc-sa/4.0/
Description
Summary:RESUMEN : En este proyecto se desarrolló un sistema automatizado para monitorear y alertar sobre el comportamiento de las bases de datos en la Landing Zone (LZ) de Bancolombia, un entorno basado en tecnología Hadoop que facilita el almacenamiento y procesamiento de grandes volúmenes de datos. El objetivo principal fue detectar y gestionar las anomalías en el crecimiento de las bases de datos, garantizando un uso eficiente de los recursos de almacenamiento y fortaleciendo la labor de la comunidad analítica del banco. La metodología incluyó el análisis de los datos almacenados, la definición de criterios de alerta basados en variaciones de tamaño y uso de tablas, el desarrollo de un programa en Python utilizando la librería Orquestador-2, y la implementación de un reporte interactivo en Power BI. Durante las pruebas, los administradores de las bases de datos mostraron una disposición activa frente a las alertas, lo que permitió depurar tablas no consultadas y comprender mejor las razones de la falta de formalización de algunas tablas. Entre los resultados se destacó la efectividad del sistema para identificar anomalías y el impacto positivo de las alertas en la colaboración con los administradores de las bases de datos. Además, el reporte en Power BI ofreció una herramienta visual clave para analizar tendencias y tomar decisiones informadas.