Publicação
Distribuição de tarefas ETL em ambientes GRID
| Resumo: | Um Data Warehouse (DW) armazena dados de forma integrada, orientada por assunto e consistente, o que o torna, assim, num repositório de dados ideal para suporte a processos de tomada de decisões. No entanto, para manter este repositório devidamente actualizado é necessário aceder a um conjunto variado de sistemas fonte, transformar a informação que neles é colectada, de acordo com os requisitos do negócio, com vista a uma alimentação adequada do DW. Estas tarefas, geralmente designadas por Extracção, Transformação e Carregamento, são normalmente complexas, requerem grandes recursos computacionais e operam numa janela temporal limitada. Neste artigo será exposta uma abordagem não convencional para a execução destas tarefas, tirando partido do poder computacional existente numa organização, através da utilização de uma GRID, e apelando à abstracção que uma linguagem de manipulação de dados como a Álgebra Relacional nos providencia, tendo como suporte o standard de representação de dados presente na linguagem XML. |
|---|---|
| Autores principais: | Santos, Vasco |
| Outros Autores: | Oliveira, Bruno; Silva, Rui; Belo, Orlando |
| Assunto: | Sistemas de data warehousing Processos ETL Processamento distribuído Computação em GRID Álgebra relacional JAVA XM |
| Ano: | 2011 |
| País: | Portugal |
| Tipo de documento: | comunicação em conferência |
| Tipo de acesso: | acesso restrito |
| Instituição associada: | Universidade do Minho |
| Idioma: | português |
| Origem: | RepositóriUM - Universidade do Minho |
Registos relacionados
article Configuring and executing ETL tasks on GRID environments - requirements and specificities
por: Santos, Vasco
Publicado em: (2011)
por: Santos, Vasco
Publicado em: (2011)
school A relational algebra approach to ETL modeling
por: Santos, Vasco Nuno Caio dos
Publicado em: (2015)
por: Santos, Vasco Nuno Caio dos
Publicado em: (2015)
article Using relational algebra on the specification of real world ETL processes
por: Santos, Vasco
Publicado em: (2015)
por: Santos, Vasco
Publicado em: (2015)
article Towards a low cost ETL system
por: Santos, Vasco
Publicado em: (2014)
por: Santos, Vasco
Publicado em: (2014)
article Using relational algebra on the specification of real world ETL processes
por: Santos, Vasco
Publicado em: (2015)
por: Santos, Vasco
Publicado em: (2015)
article ETL development using patterns: A service-oriented approach
por: Oliveira, Bruno
Publicado em: (2019)
por: Oliveira, Bruno
Publicado em: (2019)
article Approaching ETL conceptual modelling and validation using BPMN and BPEL
por: Oliveira, Bruno
Publicado em: (2013)
por: Oliveira, Bruno
Publicado em: (2013)
article Modeling ETL data quality enforcement tasks using relational algebra operators
por: Santos, Vasco
Publicado em: (2013)
por: Santos, Vasco
Publicado em: (2013)
article An ontology for describing ETL patterns behavior
por: Oliveira, Bruno
Publicado em: (2016)
por: Oliveira, Bruno
Publicado em: (2016)
article A process mining approach for discovering ETL black points
por: Belo, Orlando
Publicado em: (2017)
por: Belo, Orlando
Publicado em: (2017)
school Transformação de especificações ETL em YAWL para processos Kettle
por: Freitas, Janine Marlene Duarte Silva
Publicado em: (2019)
por: Freitas, Janine Marlene Duarte Silva
Publicado em: (2019)
article Towards a formal validation of ETL patterns behaviour
por: Oliveira, Bruno
Publicado em: (2016)
por: Oliveira, Bruno
Publicado em: (2016)
article Modelling ETL conciliation tasks using relational algebra operators
por: Santos, Vasco
Publicado em: (2014)
por: Santos, Vasco
Publicado em: (2014)
article Modeling agents working on ETL processes
por: Gomes, Nuno André Barbosa
Publicado em: (2016)
por: Gomes, Nuno André Barbosa
Publicado em: (2016)
article ETL patterns on YAWL: towards to the specification of platform-independent data warehousing populating processes
por: Oliveira, Bruno
Publicado em: (2014)
por: Oliveira, Bruno
Publicado em: (2014)
article An ETL pattern for log configuration and analysis
por: Oliveira, Bruno
Publicado em: (2019)
por: Oliveira, Bruno
Publicado em: (2019)
article Approaching ETL processes specification using a pattern-based ontology
por: Oliveira, Bruno
Publicado em: (2017)
por: Oliveira, Bruno
Publicado em: (2017)
article Designing safe and reliable ETL systems using alloy
por: Capelo, Mariana
Publicado em: (2018)
por: Capelo, Mariana
Publicado em: (2018)
school Especificação e validação de processos ETL em Alloy
por: Capelo, Mariana Almeida Brandão
Publicado em: (2018)
por: Capelo, Mariana Almeida Brandão
Publicado em: (2018)
article Validating ETL patterns feasability using alloy
por: Oliveira, Bruno
Publicado em: (2017)
por: Oliveira, Bruno
Publicado em: (2017)
article Modeling an opportunistic ETL agent based system using YAWL
por: Gomes, Nuno André Barbosa
Publicado em: (2016)
por: Gomes, Nuno André Barbosa
Publicado em: (2016)
article Especificação do comportamento de padrões ETL
por: Gomes, Cláudia
Publicado em: (2014)
por: Gomes, Cláudia
Publicado em: (2014)
article Colored Petri nets in the simulation of ETL standard tasks: the surrogate key pipelining case
por: Silva, Diogo
Publicado em: (2012)
por: Silva, Diogo
Publicado em: (2012)
article ETL logs under a pattern-oriented approach
por: Oliveira, Bruno
Publicado em: (2021)
por: Oliveira, Bruno
Publicado em: (2021)
article BPMN patterns for ETL conceptual modelling and validation
por: Oliveira, Bruno
Publicado em: (2012)
por: Oliveira, Bruno
Publicado em: (2012)
book Grid programming frameworks
por: Medeiros, B.
Publicado em: (2015)
por: Medeiros, B.
Publicado em: (2015)
article Pattern-based ETL conceptual modelling
por: Oliveira, Bruno
Publicado em: (2013)
por: Oliveira, Bruno
Publicado em: (2013)
article Using reo on ETL conceptual modelling: a first approach
por: Oliveira, Bruno
Publicado em: (2013)
por: Oliveira, Bruno
Publicado em: (2013)
article Using BPMN for ETL conceptual modelling: A case study
por: Oliveira, Bruno
Publicado em: (2021)
por: Oliveira, Bruno
Publicado em: (2021)
article Task clustering on ETL systems – A pattern-oriented approach
por: Oliveira, Bruno
Publicado em: (2015)
por: Oliveira, Bruno
Publicado em: (2015)
article A domain-specific language for ETL patterns specification in Data Warehousing Systems
por: Oliveira, Bruno
Publicado em: (2015)
por: Oliveira, Bruno
Publicado em: (2015)
article Using a domain-specific language to enrich ETL schemas
por: Belo, O.
Publicado em: (2015)
por: Belo, O.
Publicado em: (2015)
article Automatic generation of ETL physical systems from BPMN conceptual models
por: Belo, O.
Publicado em: (2015)
por: Belo, O.
Publicado em: (2015)
school Captura de dados em tempo real em sistemas de data warehousing
por: Dias, Miguel Gonçalves
Publicado em: (2013)
por: Dias, Miguel Gonçalves
Publicado em: (2013)
school Sistemas de bases de dados orientados por colunas
por: Ribeiro, Raquel Gouveia
Publicado em: (2013)
por: Ribeiro, Raquel Gouveia
Publicado em: (2013)
article ETL standard processes modelling: a novel BPMN approach
por: Oliveira, Bruno
Publicado em: (2013)
por: Oliveira, Bruno
Publicado em: (2013)
article Determining the quality of execution of a data warehousing populating system
por: Dias, Nuno
Publicado em: (2017)
por: Dias, Nuno
Publicado em: (2017)
article Geração automática de esqueletos para sistemas ETL
por: Guimarães, Miguel
Publicado em: (2014)
por: Guimarães, Miguel
Publicado em: (2014)
image clOpenCLip - Estendendo aplicações heterogéneas a ambientes distribuídos de forma transparente
por: Rufino, José
Publicado em: (2019)
por: Rufino, José
Publicado em: (2019)
article On the specification of extract, transform, and load patterns behavior: A domain-specific language approach
por: Oliveira, Bruno
Publicado em: (2017)
por: Oliveira, Bruno
Publicado em: (2017)
Registos relacionados
-
article Configuring and executing ETL tasks on GRID environments - requirements and specificities
por: Santos, Vasco
Publicado em: (2011) -
school A relational algebra approach to ETL modeling
por: Santos, Vasco Nuno Caio dos
Publicado em: (2015) -
article Using relational algebra on the specification of real world ETL processes
por: Santos, Vasco
Publicado em: (2015) -
article Towards a low cost ETL system
por: Santos, Vasco
Publicado em: (2014) -
article Using relational algebra on the specification of real world ETL processes
por: Santos, Vasco
Publicado em: (2015)