Publicação
Co-operação de tabelas de Hash distribuídas em clusters heterogéneos
| Resumo: | As Estruturas de Dados Distribuídas (DDSs) constituem uma abordagem ao Armazenamento Distribuído adequada a aplicações com requisitos de elevada capacidade de armazenamento, escalabilidade e disponibilidade. Ao mesmo tempo, apresentando-se com interfaces simples e familiares, permitem encurtar o ciclo de desenvolvimento de aplicações. Num ambiente de cluster, caracterizado pela co-existência de grande variedade de aplicações e utilizadores com requisitos dinâmicos, e de gerações de equipamento com desempenhos diferenciados (tanto ao nível do poder de cálculo, como das comunicações e do armazenamento), a necessidade de operação conjunta e eficiente de múltiplas DDSs pelas aplicações constituiu um desafio científico e tecnológico que esta tese se propôs superar. Esta tese apresenta as propostas e os resultados alcançados durante o estudo e desenvolvimento dos modelos e da plataforma de suporte à arquitectura Domus para a co-operação de múltiplas Tabelas de Hash Distribuídas (DHTs) em clusters partilhados e heterogéneos. A plataforma contempla várias classes de atributos e operações sobre DHTs permitindo, entre outras possibilidades, a definição administrativa de limites à expansão/contracção, o recurso a diferentes tecnologias de armazenamento e a suspensão/retoma administrativa da operação. Numa outra vertente, para responder aos requisitos impostos pela execução simultânea de múltiplas e diferenciadas aplicações, foram formulados e desenvolvidos mecanismos de balanceamento dinâmico de carga que visam a optimização e rentabilização dos recursos computacionais, comunicacionais e de armazenamento disponíveis no cluster. Na base da abordagem estão modelos que dão uma resposta qualificada aos problemas do particionamento e da localização de entradas numa DHT. Em relação ao particionamento, são propostos modelos de distribuição para definição do número de entradas de cada nó de uma DHT, suportando variação dinâmica do número total de nós; os modelos asseguram uma distribuição óptima do número de entradas, nos quatro cenários que resultam da combinação de Hashing Estático ou Dinâmico, com Distribuição Homogénea ou Heterogénea; com Hashing Dinâmico, a qualidade da distribuição é parametrizável e, com Distribuição Homogénea, o esforço de re-distribuição é de ordem O(1) face ao total de nós da DHT. No que toca à localização, definiram-se algoritmos de encaminhamento acelerado para localização distribuída em topologias DeBruijn e Chord, que respondem à descontinuidade das partições das DHTs geradas pelos modelos de distribuição. Para o efeito, explorou-se a possível coexistência de múltiplas tabelas de encaminhamento em cada nó de uma DHT, para tentar aproximar o maior custo da localização sobre grafos completos (em que os vértices são entradas da DHT), ao custo de referência sobre grafos esparsos (em que os vértices são nós da DHT), tendo-se obtido valores de 70% a 90% do custo de referência. |
|---|---|
| Autores principais: | Rufino, José |
| Assunto: | Tabelas de Hash distribuídas Particionamento Localização distribuída Operação conjunta Balanceamento dinâmico Avaliação de desempenho |
| Ano: | 2008 |
| País: | Portugal |
| Tipo de documento: | tese de doutoramento |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Instituto Politécnico de Bragança |
| Idioma: | português |
| Origem: | Biblioteca Digital do IPB |
| _version_ | 1867172830282514432 |
|---|---|
| author | Rufino, José |
| author_facet | Rufino, José |
| author_role | author |
| contributor_name_str_mv | Biblioteca Digital do IPB |
| country_str | PT |
| creators_json_txt | [{\"Person.name\":\"Rufino, José\",\"Person.identifier.orcid\":\"0000-0002-1344-8264\"}] |
| datacite.contributors.contributor.contributorName.fl_str_mv | Biblioteca Digital do IPB |
| datacite.creators.creator.creatorName.fl_str_mv | Rufino, José |
| datacite.date.Accepted.fl_str_mv | 2008-01-01T00:00:00Z |
| datacite.date.available.fl_str_mv | 2009-01-29T10:30:16Z |
| datacite.date.embargoed.fl_str_mv | 2009-01-29T10:30:16Z |
| datacite.rights.fl_str_mv | http://purl.org/coar/access_right/c_abf2 |
| datacite.subjects.subject.fl_str_mv | Tabelas de Hash distribuídas Particionamento Localização distribuída Operação conjunta Balanceamento dinâmico Avaliação de desempenho |
| datacite.titles.title.fl_str_mv | Co-operação de tabelas de Hash distribuídas em clusters heterogéneos |
| dc.contributor.none.fl_str_mv | Biblioteca Digital do IPB |
| dc.creator.none.fl_str_mv | Rufino, José |
| dc.date.Accepted.fl_str_mv | 2008-01-01T00:00:00Z |
| dc.date.available.fl_str_mv | 2009-01-29T10:30:16Z |
| dc.date.embargoed.fl_str_mv | 2009-01-29T10:30:16Z |
| dc.format.none.fl_str_mv | application/pdf |
| dc.identifier.none.fl_str_mv | http://hdl.handle.net/10198/982 |
| dc.language.none.fl_str_mv | por |
| dc.rights.none.fl_str_mv | http://purl.org/coar/access_right/c_abf2 |
| dc.subject.none.fl_str_mv | Tabelas de Hash distribuídas Particionamento Localização distribuída Operação conjunta Balanceamento dinâmico Avaliação de desempenho |
| dc.title.fl_str_mv | Co-operação de tabelas de Hash distribuídas em clusters heterogéneos |
| dc.type.none.fl_str_mv | http://purl.org/coar/resource_type/c_db06 |
| description | As Estruturas de Dados Distribuídas (DDSs) constituem uma abordagem ao Armazenamento Distribuído adequada a aplicações com requisitos de elevada capacidade de armazenamento, escalabilidade e disponibilidade. Ao mesmo tempo, apresentando-se com interfaces simples e familiares, permitem encurtar o ciclo de desenvolvimento de aplicações. Num ambiente de cluster, caracterizado pela co-existência de grande variedade de aplicações e utilizadores com requisitos dinâmicos, e de gerações de equipamento com desempenhos diferenciados (tanto ao nível do poder de cálculo, como das comunicações e do armazenamento), a necessidade de operação conjunta e eficiente de múltiplas DDSs pelas aplicações constituiu um desafio científico e tecnológico que esta tese se propôs superar. Esta tese apresenta as propostas e os resultados alcançados durante o estudo e desenvolvimento dos modelos e da plataforma de suporte à arquitectura Domus para a co-operação de múltiplas Tabelas de Hash Distribuídas (DHTs) em clusters partilhados e heterogéneos. A plataforma contempla várias classes de atributos e operações sobre DHTs permitindo, entre outras possibilidades, a definição administrativa de limites à expansão/contracção, o recurso a diferentes tecnologias de armazenamento e a suspensão/retoma administrativa da operação. Numa outra vertente, para responder aos requisitos impostos pela execução simultânea de múltiplas e diferenciadas aplicações, foram formulados e desenvolvidos mecanismos de balanceamento dinâmico de carga que visam a optimização e rentabilização dos recursos computacionais, comunicacionais e de armazenamento disponíveis no cluster. Na base da abordagem estão modelos que dão uma resposta qualificada aos problemas do particionamento e da localização de entradas numa DHT. Em relação ao particionamento, são propostos modelos de distribuição para definição do número de entradas de cada nó de uma DHT, suportando variação dinâmica do número total de nós; os modelos asseguram uma distribuição óptima do número de entradas, nos quatro cenários que resultam da combinação de Hashing Estático ou Dinâmico, com Distribuição Homogénea ou Heterogénea; com Hashing Dinâmico, a qualidade da distribuição é parametrizável e, com Distribuição Homogénea, o esforço de re-distribuição é de ordem O(1) face ao total de nós da DHT. No que toca à localização, definiram-se algoritmos de encaminhamento acelerado para localização distribuída em topologias DeBruijn e Chord, que respondem à descontinuidade das partições das DHTs geradas pelos modelos de distribuição. Para o efeito, explorou-se a possível coexistência de múltiplas tabelas de encaminhamento em cada nó de uma DHT, para tentar aproximar o maior custo da localização sobre grafos completos (em que os vértices são entradas da DHT), ao custo de referência sobre grafos esparsos (em que os vértices são nós da DHT), tendo-se obtido valores de 70% a 90% do custo de referência. |
| dirty | 0 |
| eu_rights_str_mv | openAccess |
| format | doctoralThesis |
| fulltext.url.fl_str_mv | https://bibliotecadigital.ipb.pt/bitstreams/5db34cc3-a693-40d4-b948-73841a436a7f/download |
| id | ipb_2fbbc9652b8a8ac421f0124834fea973 |
| identifier.url.fl_str_mv | http://hdl.handle.net/10198/982 |
| instacron_str | ipb |
| institution | Instituto Politécnico de Bragança |
| instname_str | Instituto Politécnico de Bragança |
| language | por |
| network_acronym_str | ipb |
| network_name_str | Biblioteca Digital do IPB |
| oai_identifier_str | oai:bibliotecadigital.ipb.pt:10198/982 |
| organization_str_mv | urn:organizationAcronym:ipb |
| person_str_mv | Rufino, José Rufino, José https://www.ciencia-id.pt/C414-F47F-6323 C414-F47F-6323 http://orcid.org/0000-0002-1344-8264 0000-0002-1344-8264 |
| publishDate | 2008 |
| reponame_str | Biblioteca Digital do IPB |
| repository_id_str | urn:repositoryAcronym:ipb |
| service_str_mv | urn:repositoryAcronym:ipb |
| spelling | porenAs Estruturas de Dados Distribuídas (DDSs) constituem uma abordagem ao Armazenamento Distribuído adequada a aplicações com requisitos de elevada capacidade de armazenamento, escalabilidade e disponibilidade. Ao mesmo tempo, apresentando-se com interfaces simples e familiares, permitem encurtar o ciclo de desenvolvimento de aplicações. Num ambiente de cluster, caracterizado pela co-existência de grande variedade de aplicações e utilizadores com requisitos dinâmicos, e de gerações de equipamento com desempenhos diferenciados (tanto ao nível do poder de cálculo, como das comunicações e do armazenamento), a necessidade de operação conjunta e eficiente de múltiplas DDSs pelas aplicações constituiu um desafio científico e tecnológico que esta tese se propôs superar. Esta tese apresenta as propostas e os resultados alcançados durante o estudo e desenvolvimento dos modelos e da plataforma de suporte à arquitectura Domus para a co-operação de múltiplas Tabelas de Hash Distribuídas (DHTs) em clusters partilhados e heterogéneos. A plataforma contempla várias classes de atributos e operações sobre DHTs permitindo, entre outras possibilidades, a definição administrativa de limites à expansão/contracção, o recurso a diferentes tecnologias de armazenamento e a suspensão/retoma administrativa da operação. Numa outra vertente, para responder aos requisitos impostos pela execução simultânea de múltiplas e diferenciadas aplicações, foram formulados e desenvolvidos mecanismos de balanceamento dinâmico de carga que visam a optimização e rentabilização dos recursos computacionais, comunicacionais e de armazenamento disponíveis no cluster. Na base da abordagem estão modelos que dão uma resposta qualificada aos problemas do particionamento e da localização de entradas numa DHT. Em relação ao particionamento, são propostos modelos de distribuição para definição do número de entradas de cada nó de uma DHT, suportando variação dinâmica do número total de nós; os modelos asseguram uma distribuição óptima do número de entradas, nos quatro cenários que resultam da combinação de Hashing Estático ou Dinâmico, com Distribuição Homogénea ou Heterogénea; com Hashing Dinâmico, a qualidade da distribuição é parametrizável e, com Distribuição Homogénea, o esforço de re-distribuição é de ordem O(1) face ao total de nós da DHT. No que toca à localização, definiram-se algoritmos de encaminhamento acelerado para localização distribuída em topologias DeBruijn e Chord, que respondem à descontinuidade das partições das DHTs geradas pelos modelos de distribuição. Para o efeito, explorou-se a possível coexistência de múltiplas tabelas de encaminhamento em cada nó de uma DHT, para tentar aproximar o maior custo da localização sobre grafos completos (em que os vértices são entradas da DHT), ao custo de referência sobre grafos esparsos (em que os vértices são nós da DHT), tendo-se obtido valores de 70% a 90% do custo de referência.application/pdfenCo-operação de tabelas de Hash distribuídas em clusters heterogéneosPersonalRufino, JoséDSpacehttp://dspace.org/items/1e24d2ce-a354-442a-bef8-eebadd94b385DSpacehttp://dspace.org/items/1e24d2ce-a354-442a-bef8-eebadd94b385RufinoJoséCiência IDhttps://www.ciencia-id.ptC414-F47F-6323ORCIDhttp://orcid.org0000-0002-1344-8264Scopus Author IDhttps://www.scopus.com55947199100Scopus Author IDhttps://www.scopus.com57188967176HostingInstitutionOrganizationalBiblioteca Digital do IPBe-mailmailto:dspace@ipb.ptdspace@ipb.ptURNurn:tid:1011824572009-01-29T10:30:16Z200820082008-01-01T00:00:00ZHandlehttp://hdl.handle.net/10198/982http://purl.org/coar/access_right/c_abf2open accessTabelas de Hash distribuídasParticionamentoLocalização distribuídaOperação conjuntaBalanceamento dinâmicoAvaliação de desempenho6399608 bytesliteraturehttp://purl.org/coar/resource_type/c_db06doctoral thesishttp://purl.org/coar/access_right/c_abf2application/pdffulltexthttps://bibliotecadigital.ipb.pt/bitstreams/5db34cc3-a693-40d4-b948-73841a436a7f/download |
| spellingShingle | Co-operação de tabelas de Hash distribuídas em clusters heterogéneos Rufino, José Tabelas de Hash distribuídas Particionamento Localização distribuída Operação conjunta Balanceamento dinâmico Avaliação de desempenho |
| status | SINGLETON |
| subject.fl_str_mv | Tabelas de Hash distribuídas Particionamento Localização distribuída Operação conjunta Balanceamento dinâmico Avaliação de desempenho |
| title | Co-operação de tabelas de Hash distribuídas em clusters heterogéneos |
| title_full | Co-operação de tabelas de Hash distribuídas em clusters heterogéneos |
| title_fullStr | Co-operação de tabelas de Hash distribuídas em clusters heterogéneos |
| title_full_unstemmed | Co-operação de tabelas de Hash distribuídas em clusters heterogéneos |
| title_short | Co-operação de tabelas de Hash distribuídas em clusters heterogéneos |
| title_sort | Co-operação de tabelas de Hash distribuídas em clusters heterogéneos |
| topic | Tabelas de Hash distribuídas Particionamento Localização distribuída Operação conjunta Balanceamento dinâmico Avaliação de desempenho |
| topic_facet | Tabelas de Hash distribuídas Particionamento Localização distribuída Operação conjunta Balanceamento dinâmico Avaliação de desempenho |
| url | http://hdl.handle.net/10198/982 |
| visible | 1 |