ARQUITETURAS DE DADOS PARA ANALYTICS: PADRÕES DE INTEGRAÇÃO, ETL/ELT E SUSTENTAÇÃO DE PIPELINES
DOI:
https://doi.org/10.56238/levv13n31-081Palavras-chave:
Arquiteturas de Dados, Integração de Dados, ETL, ELT, Pipelines AnalíticosResumo
O presente artigo analisa arquiteturas de dados voltadas para analytics, com ênfase nos padrões de integração, nas abordagens de ETL e ELT e nos mecanismos de sustentação de pipelines analíticos, considerando a crescente necessidade organizacional de estruturar fluxos informacionais capazes de integrar múltiplas fontes, sustentar processamento contínuo e disponibilizar dados com maior consistência para uso analítico. A pesquisa foi desenvolvida por meio de abordagem qualitativa, com caráter descritivo e explicativo, apoiada em pesquisa bibliográfica, a partir da qual foram examinadas contribuições teóricas relacionadas a data warehouse, data lake, lakehouse, integração de dados, governança e operação de fluxos analíticos. Os resultados indicam que a evolução das arquiteturas de dados está associada à busca por maior flexibilidade estrutural, maior capacidade de integração e melhor coordenação entre armazenamento, processamento e consumo analítico, revelando que a eficiência dos ambientes de analytics depende do alinhamento entre modelo arquitetural, estratégia de processamento e mecanismos de sustentação dos pipelines. Verificou-se, ainda, que ETL e ELT correspondem a lógicas operacionais distintas, cuja adoção varia conforme volume, diversidade, frequência de atualização e finalidade analítica dos dados, enquanto a continuidade dos pipelines exige monitoramento, rastreabilidade, metadados e governança articulada. Conclui-se que arquiteturas de dados voltadas para analytics precisam ser compreendidas como ecossistemas integrados, nos quais estrutura, fluxo e controle operacional atuam de forma interdependente na produção de ambientes analíticos confiáveis e escaláveis.
Downloads
Referências
DHAOUADI, Asma; BOUSSELMI, Khadija; GAMMOUDI, Mohamed Mohsen; MONNET, Sébastien; HAMMOUDI, Slimane. Data warehousing process modeling from classical approaches to big data and ELT: state of the art and future trends. Data, v. 7, n. 8, 2022.
FIKRI, Noussair; RIDA, Mohamed; ABGHOUR, Noureddine; MOUSSAID, Khalid; EL OMRI, Amina. An adaptive and real-time based architecture for financial data warehouse. Journal of Big Data, v. 6, 2019.
GIL, Antonio Carlos. Métodos e técnicas de pesquisa social. 6. ed. São Paulo: Atlas, 2008.
HARBY, Ahmed A.; ZULKERNINE, Farhana. From data warehouse to lakehouse: a comparative review. In: IEEE INTERNATIONAL CONFERENCE ON BIG DATA, 2022. Anais [...]. IEEE, 2022.
LAKATOS, Eva Maria; MARCONI, Marina de Andrade. Fundamentos de metodologia científica. 5. ed. São Paulo: Atlas, 2003.
MACHADO, Gustavo V.; CUNHA, Ítalo; PEREIRA, Adriano C. M.; OLIVEIRA, Leonardo B. DOD-ETL: distributed on-demand ETL for near real-time business intelligence. Journal of Internet Services and Applications, v. 10, 2019.
NADAL, Sergi; JOVANOVIC, Petar; BILALLI, Besim; ROMERO, Oscar. Operationalizing and automating data governance. Journal of Big Data, v. 9, 2022.
NAMBIAR, Athira; MUNDRA, Divyansh. An overview of data warehouse and data lake in modern enterprise data management. Big Data and Cognitive Computing, v. 6, n. 4, 2022.
SAWADOGO, Pegdwendé; DARMONT, Jérôme. On data lake architectures and metadata management. arXiv, 2021.
WIEDER, Philipp; NOLTE, Hendrik. Toward data lakes as central building blocks for data management and analysis. Frontiers in Big Data, v. 5, 2022.