Diseño e implementación de sistema de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS

RESUMEN : En este informe de práctica, se expone el diseño e implementación de un software que permite el monitoreo a los procesos de ETL de Source Meridian. Esta herramienta permite la trazabilidad de los procesos y ayuda con la identificación de posibles mejoras a los procesos internos de la compa...

Full description

Autores:
Botero Vivas, Valentina
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2023
Institución:
Universidad de Antioquia
Repositorio:
Repositorio UdeA
Idioma:
spa
OAI Identifier:
oai:bibliotecadigital.udea.edu.co:10495/36143
Acceso en línea:
https://hdl.handle.net/10495/36143
Palabra clave:
Ingeniería de software
Programas para computador
Mejoramiento de procesos
Control de procesos
Desarrollo de programas para computador
Rights
openAccess
License
http://creativecommons.org/licenses/by-nc-sa/2.5/co/
id UDEA2_42de02992804c3f7a99bd5154b38ae18
oai_identifier_str oai:bibliotecadigital.udea.edu.co:10495/36143
network_acronym_str UDEA2
network_name_str Repositorio UdeA
repository_id_str
dc.title.spa.fl_str_mv Diseño e implementación de sistema de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS
dc.title.translated.spa.fl_str_mv Design and implement an ETL monitoring system focusing on Big Data transformations within GCP and AWS
title Diseño e implementación de sistema de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS
spellingShingle Diseño e implementación de sistema de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS
Ingeniería de software
Programas para computador
Mejoramiento de procesos
Control de procesos
Desarrollo de programas para computador
title_short Diseño e implementación de sistema de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS
title_full Diseño e implementación de sistema de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS
title_fullStr Diseño e implementación de sistema de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS
title_full_unstemmed Diseño e implementación de sistema de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS
title_sort Diseño e implementación de sistema de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS
dc.creator.fl_str_mv Botero Vivas, Valentina
dc.contributor.advisor.none.fl_str_mv García Arias, Hernán Felipe
Moreno Uribe, Christian David
dc.contributor.author.none.fl_str_mv Botero Vivas, Valentina
dc.subject.lemb.none.fl_str_mv Ingeniería de software
Programas para computador
Mejoramiento de procesos
Control de procesos
Desarrollo de programas para computador
topic Ingeniería de software
Programas para computador
Mejoramiento de procesos
Control de procesos
Desarrollo de programas para computador
description RESUMEN : En este informe de práctica, se expone el diseño e implementación de un software que permite el monitoreo a los procesos de ETL de Source Meridian. Esta herramienta permite la trazabilidad de los procesos y ayuda con la identificación de posibles mejoras a los procesos internos de la compañía en particular al equipo de datos. El siguiente trabajo presenta el desarrollo de un software de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS, permitiendo al equipo técnico tener una visión profunda de los procesos internos. El resultado obtenido brinda un punto de partida para el análisis de la cantidad de recursos usados y comportamientos en los diferentes procesos activos en el equipo de datos.
publishDate 2023
dc.date.accessioned.none.fl_str_mv 2023-08-03T20:08:46Z
dc.date.available.none.fl_str_mv 2023-08-03T20:08:46Z
dc.date.issued.none.fl_str_mv 2023
dc.type.spa.fl_str_mv Tesis/Trabajo de grado - Monografía - Pregrado
dc.type.coar.spa.fl_str_mv http://purl.org/coar/resource_type/c_7a1f
dc.type.redcol.spa.fl_str_mv https://purl.org/redcol/resource_type/TP
dc.type.coarversion.spa.fl_str_mv http://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.driver.spa.fl_str_mv info:eu-repo/semantics/bachelorThesis
dc.type.version.spa.fl_str_mv info:eu-repo/semantics/draft
format http://purl.org/coar/resource_type/c_7a1f
status_str draft
dc.identifier.uri.none.fl_str_mv https://hdl.handle.net/10495/36143
url https://hdl.handle.net/10495/36143
dc.language.iso.spa.fl_str_mv spa
language spa
dc.rights.uri.*.fl_str_mv http://creativecommons.org/licenses/by-nc-sa/2.5/co/
dc.rights.uri.spa.fl_str_mv https://creativecommons.org/licenses/by-nc-sa/4.0/
dc.rights.accessrights.spa.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.spa.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-sa/2.5/co/
https://creativecommons.org/licenses/by-nc-sa/4.0/
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.extent.spa.fl_str_mv 30
dc.format.mimetype.spa.fl_str_mv application/pdf
dc.publisher.spa.fl_str_mv Universidad de Antioquia
dc.publisher.place.spa.fl_str_mv Medellín, Colombia
dc.publisher.faculty.spa.fl_str_mv Facultad de Ingeniería. Ingeniería Electrónica
institution Universidad de Antioquia
bitstream.url.fl_str_mv https://bibliotecadigital.udea.edu.co/bitstreams/3bacd5ec-5905-403c-9cca-4400fbec084e/download
https://bibliotecadigital.udea.edu.co/bitstreams/2f60b144-2920-47a4-9d92-8eb23ec0c8ff/download
https://bibliotecadigital.udea.edu.co/bitstreams/55f9425c-155a-45eb-b524-4428552ea948/download
https://bibliotecadigital.udea.edu.co/bitstreams/77d18710-f2f7-4ed3-900f-03fd674e0d7c/download
https://bibliotecadigital.udea.edu.co/bitstreams/e82423e8-8b0d-431c-8ad9-ca73aabc43b3/download
bitstream.checksum.fl_str_mv 5189072b696c681596a41d57978c02d5
8a4605be74aa9ea9d79846c1fba20a33
e2060682c9c70d4d30c83c51448f4eed
c869b3901e2d0327f7c40c3895a9429f
70c93ebe8fc7db66810bfb99dfa7490d
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositorio Institucional de la Universidad de Antioquia
repository.mail.fl_str_mv aplicacionbibliotecadigitalbiblioteca@udea.edu.co
_version_ 1851052482232320000
spelling García Arias, Hernán FelipeMoreno Uribe, Christian DavidBotero Vivas, Valentina2023-08-03T20:08:46Z2023-08-03T20:08:46Z2023https://hdl.handle.net/10495/36143RESUMEN : En este informe de práctica, se expone el diseño e implementación de un software que permite el monitoreo a los procesos de ETL de Source Meridian. Esta herramienta permite la trazabilidad de los procesos y ayuda con la identificación de posibles mejoras a los procesos internos de la compañía en particular al equipo de datos. El siguiente trabajo presenta el desarrollo de un software de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS, permitiendo al equipo técnico tener una visión profunda de los procesos internos. El resultado obtenido brinda un punto de partida para el análisis de la cantidad de recursos usados y comportamientos en los diferentes procesos activos en el equipo de datos.PregradoIngeniera Electrónica30application/pdfspaUniversidad de AntioquiaMedellín, ColombiaFacultad de Ingeniería. Ingeniería Electrónicahttp://creativecommons.org/licenses/by-nc-sa/2.5/co/https://creativecommons.org/licenses/by-nc-sa/4.0/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Diseño e implementación de sistema de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWSDesign and implement an ETL monitoring system focusing on Big Data transformations within GCP and AWSTesis/Trabajo de grado - Monografía - Pregradohttp://purl.org/coar/resource_type/c_7a1fhttps://purl.org/redcol/resource_type/TPhttp://purl.org/coar/version/c_b1a7d7d4d402bcceinfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/draftIngeniería de softwareProgramas para computadorMejoramiento de procesosControl de procesosDesarrollo de programas para computadorPublicationORIGINALBoteroValentina_2023_SistemaMonitoreoETL.pdfBoteroValentina_2023_SistemaMonitoreoETL.pdfTrabajo de grado Pregadoapplication/pdf5519723https://bibliotecadigital.udea.edu.co/bitstreams/3bacd5ec-5905-403c-9cca-4400fbec084e/download5189072b696c681596a41d57978c02d5MD51trueAnonymousREADLICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://bibliotecadigital.udea.edu.co/bitstreams/2f60b144-2920-47a4-9d92-8eb23ec0c8ff/download8a4605be74aa9ea9d79846c1fba20a33MD53falseAnonymousREADCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81051https://bibliotecadigital.udea.edu.co/bitstreams/55f9425c-155a-45eb-b524-4428552ea948/downloade2060682c9c70d4d30c83c51448f4eedMD52falseAnonymousREADTEXTBoteroValentina_2023_SistemaMonitoreoETL.pdf.txtBoteroValentina_2023_SistemaMonitoreoETL.pdf.txtExtracted texttext/plain51898https://bibliotecadigital.udea.edu.co/bitstreams/77d18710-f2f7-4ed3-900f-03fd674e0d7c/downloadc869b3901e2d0327f7c40c3895a9429fMD54falseAnonymousREADTHUMBNAILBoteroValentina_2023_SistemaMonitoreoETL.pdf.jpgBoteroValentina_2023_SistemaMonitoreoETL.pdf.jpgGenerated Thumbnailimage/jpeg6393https://bibliotecadigital.udea.edu.co/bitstreams/e82423e8-8b0d-431c-8ad9-ca73aabc43b3/download70c93ebe8fc7db66810bfb99dfa7490dMD55falseAnonymousREAD10495/36143oai:bibliotecadigital.udea.edu.co:10495/361432025-03-26 23:02:46.043http://creativecommons.org/licenses/by-nc-sa/2.5/co/open.accesshttps://bibliotecadigital.udea.edu.coRepositorio Institucional de la Universidad de Antioquiaaplicacionbibliotecadigitalbiblioteca@udea.edu.coTk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=