Publicação
Data Lakes em ambientes híbridos Cloud/Edge
| Resumo: | A análise dos dados tem sido, tradicionalmente, realizada em servidores na nuvem, onde a capacidade de armazenamento e de processamento são quase ilimitadas. Em contrapartida, os dispositivos periféricos têm severas limitações tanto de armazenamento como de processamento. No entanto, estes dispositivos encontram-se mais próximos do local onde os dados são gerados. Por causa disso, estes são, usualmente, utilizados para cargas de trabalho transacionais onde a confiabilidade e interatividade são fulcrais. Devido às limitações dos dispositivos periféricos, os dados são, geralmente, extraídos periodicamente para a nuvem onde são depois armazenados e processados. De modo a permitir a análise exploratória de dados heterogéneos, é comum utilizar uma infraestrutura Data Lake que permite gerir dados em formato bruto de múltiplas fontes. No entanto, transferir todos os dados coletados para a nuvem é inviável devido à limitada capacidade da rede que não tem conseguido acompanhar o crescimento do volume de dados coletados. Esta dissertação ultrapassa estes desafios ao implementar um componente middleware capaz de armazenar os dados previamente transmitidos na nuvem e propaga partes da interrogação para a periferia. Deste modo, consegue-se reduzir o volume de dados transferido ao enviar, idealmente, apenas uma vez os dados necessários para responder aos pedidos. Além disso, esta solução equilibra o impacto na rede e o custo computacional na periferia de modo a minimizar o tempo de execução. |
|---|---|
| Autores principais: | Costa, Daniel Vilar da |
| Assunto: | Ambiente Cloud/Edge Sincronização Replicação Federação de dados Análise de dados exploratória Cloud/Edge environment Synchronization Replication Data federation Exploratory data analysis Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
| Ano: | 2022 |
| País: | Portugal |
| Tipo de documento: | dissertação de mestrado |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Universidade do Minho |
| Idioma: | português |
| Origem: | RepositóriUM - Universidade do Minho |
| _version_ | 1867438335618711552 |
|---|---|
| author | Costa, Daniel Vilar da |
| author_facet | Costa, Daniel Vilar da |
| author_role | author |
| contributor_name_str_mv | Vilaça, Ricardo Manuel Pereira Pereira, José RepositóriUM - Universidade do Minho |
| country_str | PT |
| creators_json_txt | [{\"Person.name\":\"Costa, Daniel Vilar da\"}] |
| datacite.contributors.contributor.contributorName.fl_str_mv | Vilaça, Ricardo Manuel Pereira Pereira, José RepositóriUM - Universidade do Minho |
| datacite.creators.creator.creatorName.fl_str_mv | Costa, Daniel Vilar da |
| datacite.date.Accepted.fl_str_mv | 2022-04-05T00:00:00Z |
| datacite.date.available.fl_str_mv | 2023-03-08T18:55:21Z |
| datacite.date.embargoed.fl_str_mv | 2023-03-08T18:55:21Z |
| datacite.rights.fl_str_mv | http://purl.org/coar/access_right/c_abf2 |
| datacite.subjects.subject.fl_str_mv | Ambiente Cloud/Edge Sincronização Replicação Federação de dados Análise de dados exploratória Cloud/Edge environment Synchronization Replication Data federation Exploratory data analysis Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
| datacite.titles.title.fl_str_mv | Data Lakes em ambientes híbridos Cloud/Edge Data Lakes in hybrid Cloud/Edge environments |
| dc.contributor.none.fl_str_mv | Vilaça, Ricardo Manuel Pereira Pereira, José RepositóriUM - Universidade do Minho |
| dc.creator.none.fl_str_mv | Costa, Daniel Vilar da |
| dc.date.Accepted.fl_str_mv | 2022-04-05T00:00:00Z |
| dc.date.available.fl_str_mv | 2023-03-08T18:55:21Z |
| dc.date.embargoed.fl_str_mv | 2023-03-08T18:55:21Z |
| dc.format.none.fl_str_mv | application/pdf |
| dc.identifier.none.fl_str_mv | https://hdl.handle.net/1822/83126 |
| dc.language.none.fl_str_mv | por |
| dc.rights.cclincense.fl_str_mv | http://creativecommons.org/licenses/by-nc-sa/4.0/ |
| dc.rights.none.fl_str_mv | http://purl.org/coar/access_right/c_abf2 |
| dc.rights.rights.copyright.fl_str_mv | openAccess |
| dc.subject.none.fl_str_mv | Ambiente Cloud/Edge Sincronização Replicação Federação de dados Análise de dados exploratória Cloud/Edge environment Synchronization Replication Data federation Exploratory data analysis Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
| dc.title.fl_str_mv | Data Lakes em ambientes híbridos Cloud/Edge Data Lakes in hybrid Cloud/Edge environments |
| dc.type.none.fl_str_mv | http://purl.org/coar/resource_type/c_bdcc |
| description | A análise dos dados tem sido, tradicionalmente, realizada em servidores na nuvem, onde a capacidade de armazenamento e de processamento são quase ilimitadas. Em contrapartida, os dispositivos periféricos têm severas limitações tanto de armazenamento como de processamento. No entanto, estes dispositivos encontram-se mais próximos do local onde os dados são gerados. Por causa disso, estes são, usualmente, utilizados para cargas de trabalho transacionais onde a confiabilidade e interatividade são fulcrais. Devido às limitações dos dispositivos periféricos, os dados são, geralmente, extraídos periodicamente para a nuvem onde são depois armazenados e processados. De modo a permitir a análise exploratória de dados heterogéneos, é comum utilizar uma infraestrutura Data Lake que permite gerir dados em formato bruto de múltiplas fontes. No entanto, transferir todos os dados coletados para a nuvem é inviável devido à limitada capacidade da rede que não tem conseguido acompanhar o crescimento do volume de dados coletados. Esta dissertação ultrapassa estes desafios ao implementar um componente middleware capaz de armazenar os dados previamente transmitidos na nuvem e propaga partes da interrogação para a periferia. Deste modo, consegue-se reduzir o volume de dados transferido ao enviar, idealmente, apenas uma vez os dados necessários para responder aos pedidos. Além disso, esta solução equilibra o impacto na rede e o custo computacional na periferia de modo a minimizar o tempo de execução. |
| dirty | 0 |
| eu_rights_str_mv | openAccess |
| format | masterThesis |
| fulltext.url.fl_str_mv | https://repositorium.uminho.pt/bitstreams/8510f0ab-5ba2-4693-ad08-f4ecfd3041d6/download |
| id | rum_638d9c7ca41865e5cd6e522fa8d72d0a |
| identifier.url.fl_str_mv | https://hdl.handle.net/1822/83126 |
| instacron_str | repositorium |
| institution | Universidade do Minho |
| instname_str | Universidade do Minho |
| language | por |
| network_acronym_str | rum |
| network_name_str | RepositóriUM - Universidade do Minho |
| oai_identifier_str | oai:repositorium.uminho.pt:1822/83126 |
| organization_str_mv | urn:organizationAcronym:repositorium |
| person_str_mv | Costa, Daniel Vilar da |
| publishDate | 2022 |
| reponame_str | RepositóriUM - Universidade do Minho |
| repository_id_str | urn:repositoryAcronym:rum |
| service_str_mv | urn:repositoryAcronym:rum |
| spelling | porporA análise dos dados tem sido, tradicionalmente, realizada em servidores na nuvem, onde a capacidade de armazenamento e de processamento são quase ilimitadas. Em contrapartida, os dispositivos periféricos têm severas limitações tanto de armazenamento como de processamento. No entanto, estes dispositivos encontram-se mais próximos do local onde os dados são gerados. Por causa disso, estes são, usualmente, utilizados para cargas de trabalho transacionais onde a confiabilidade e interatividade são fulcrais. Devido às limitações dos dispositivos periféricos, os dados são, geralmente, extraídos periodicamente para a nuvem onde são depois armazenados e processados. De modo a permitir a análise exploratória de dados heterogéneos, é comum utilizar uma infraestrutura Data Lake que permite gerir dados em formato bruto de múltiplas fontes. No entanto, transferir todos os dados coletados para a nuvem é inviável devido à limitada capacidade da rede que não tem conseguido acompanhar o crescimento do volume de dados coletados. Esta dissertação ultrapassa estes desafios ao implementar um componente middleware capaz de armazenar os dados previamente transmitidos na nuvem e propaga partes da interrogação para a periferia. Deste modo, consegue-se reduzir o volume de dados transferido ao enviar, idealmente, apenas uma vez os dados necessários para responder aos pedidos. Além disso, esta solução equilibra o impacto na rede e o custo computacional na periferia de modo a minimizar o tempo de execução.application/pdfporData Lakes em ambientes híbridos Cloud/EdgeAlternativeTitleporData Lakes in hybrid Cloud/Edge environmentsCosta, Daniel Vilar daVilaça, Ricardo Manuel PereiraPereira, JoséHostingInstitutionOrganizationalRepositóriUM - Universidade do Minhoe-mailmailto:repositorium@usdb.uminho.ptrepositorium@usdb.uminho.ptTID2032062902023-03-08T18:55:21Z2022-04-052022-022022-04-05T00:00:00ZHandlehttps://hdl.handle.net/1822/83126http://purl.org/coar/access_right/c_abf2open accessAmbiente Cloud/EdgeSincronizaçãoReplicaçãoFederação de dadosAnálise de dados exploratóriaCloud/Edge environmentSynchronizationReplicationData federationExploratory data analysishttp://www.oecd.org/science/inno/38235147.pdfFields of Science and Technology (FOS)Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática682001 bytesliteraturehttp://purl.org/coar/resource_type/c_bdccmaster thesis2022-04-05http://creativecommons.org/licenses/by-nc-sa/4.0/openAccesshttp://purl.org/coar/access_right/c_abf2application/pdffulltexthttps://repositorium.uminho.pt/bitstreams/8510f0ab-5ba2-4693-ad08-f4ecfd3041d6/download |
| spellingShingle | Data Lakes em ambientes híbridos Cloud/Edge Costa, Daniel Vilar da Ambiente Cloud/Edge Sincronização Replicação Federação de dados Análise de dados exploratória Cloud/Edge environment Synchronization Replication Data federation Exploratory data analysis Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
| status | SINGLETON |
| subject.fl_str_mv | Ambiente Cloud/Edge Sincronização Replicação Federação de dados Análise de dados exploratória Cloud/Edge environment Synchronization Replication Data federation Exploratory data analysis |
| subject.other.fl_str_mv | Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
| title | Data Lakes em ambientes híbridos Cloud/Edge |
| title_full | Data Lakes em ambientes híbridos Cloud/Edge |
| title_fullStr | Data Lakes em ambientes híbridos Cloud/Edge |
| title_full_unstemmed | Data Lakes em ambientes híbridos Cloud/Edge |
| title_short | Data Lakes em ambientes híbridos Cloud/Edge |
| title_sort | Data Lakes em ambientes híbridos Cloud/Edge |
| topic | Ambiente Cloud/Edge Sincronização Replicação Federação de dados Análise de dados exploratória Cloud/Edge environment Synchronization Replication Data federation Exploratory data analysis Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
| topic_facet | Ambiente Cloud/Edge Sincronização Replicação Federação de dados Análise de dados exploratória Cloud/Edge environment Synchronization Replication Data federation Exploratory data analysis Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
| url | https://hdl.handle.net/1822/83126 |
| visible | 1 |