Publicação
Implementação de Data Lakehouses
| Resumo: | Os data lakehouses têm surgido cada vez mais como uma solução para gerir os dados de organizações dadas as suas características para armazenar, unificar e processar dados assim como fornecer consultas e análises rápidas sobre os mesmos. Nesta dissertação serão abordados os aspetos mais relevantes desta temática, focando na sua contextualização no mercado, história, conceitos básicos, arquitetura e metodologias de desenvolvimento, com a finalidade de estudar e analisar a aplicação de data lakehouses. Para isso estudámos os diversos tópicos de data lakehousing, data lakes e data warehouse, de forma a tentar definir de forma mais concreta o processo de desenvolvimento e implementação de um data lakehouse, como base para a elaboração de um modelo de governação, regido por uma dada metodologia. Posteriormente, analisámos a sua aplicação no desenvolvimento de uma aplicação prática concreta. Nesta dissertação apresentamos e discutimos todas as fases de trabalho que desenvolvemos em prol do estabelecimento e validação do modelo de governação estabelecido. |
|---|---|
| Autores principais: | Martins, André Pizarro |
| Assunto: | Implementação de Data Lakehouses Data Lake Data Warehouse Modelos para a Governação de dados Data Lakehouses Implementation Data Governance Models Engenharia e Tecnologia::Outras Engenharias e Tecnologias |
| Ano: | 2024 |
| País: | Portugal |
| Tipo de documento: | dissertação de mestrado |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Universidade do Minho |
| Idioma: | português |
| Origem: | RepositóriUM - Universidade do Minho |
| Resumo: | Os data lakehouses têm surgido cada vez mais como uma solução para gerir os dados de organizações dadas as suas características para armazenar, unificar e processar dados assim como fornecer consultas e análises rápidas sobre os mesmos. Nesta dissertação serão abordados os aspetos mais relevantes desta temática, focando na sua contextualização no mercado, história, conceitos básicos, arquitetura e metodologias de desenvolvimento, com a finalidade de estudar e analisar a aplicação de data lakehouses. Para isso estudámos os diversos tópicos de data lakehousing, data lakes e data warehouse, de forma a tentar definir de forma mais concreta o processo de desenvolvimento e implementação de um data lakehouse, como base para a elaboração de um modelo de governação, regido por uma dada metodologia. Posteriormente, analisámos a sua aplicação no desenvolvimento de uma aplicação prática concreta. Nesta dissertação apresentamos e discutimos todas as fases de trabalho que desenvolvemos em prol do estabelecimento e validação do modelo de governação estabelecido. |
|---|