Automatización de monitoreo y alertas para la comunidad analítica. Semestre de Industria (2025)
RESUMEN : En este proyecto se desarrolló un sistema automatizado para monitorear y alertar sobre el comportamiento de las bases de datos en la Landing Zone (LZ) de Bancolombia, un entorno basado en tecnología Hadoop que facilita el almacenamiento y procesamiento de grandes volúmenes de datos. El objetivo principal fue detectar y gestionar las anomalías en el crecimiento de las bases de datos, garantizando un uso eficiente de los recursos de almacenamiento y fortaleciendo la labor de la comunidad analítica del banco. La metodología incluyó el análisis de los datos almacenados, la definición de criterios de alerta basados en variaciones de tamaño y uso de tablas, el desarrollo de un programa en Python utilizando la librería Orquestador-2, y la implementación de un reporte interactivo en Power BI. Durante las pruebas, los administradores de las bases de datos mostraron una disposición activa frente a las alertas, lo que permitió depurar tablas no consultadas y comprender mejor las razones de la falta de formalización de algunas tablas. Entre los resultados se destacó la efectividad del sistema para identificar anomalías y el impacto positivo de las alertas en la colaboración con los administradores de las bases de datos. Además, el reporte en Power BI ofreció una herramienta visual clave para analizar tendencias y tomar decisiones informadas.