Publicação
Armazenamento confiável e em larga escala para aplicações compatíveis com POSIX
| Resumo: | A Internet of Things (IoT) é uma das áreas tecnológicas que necessita de sistemas distribuídos que suportem o armazenamento e acesso à enorme quantidade de dados constantemente produzidos por centenas a milhares de dispositivos. Até agora, a maioria dos sistemas desenvolvidos encontravam-se adaptados a instalações em centro de dados, impulsionados pela adoção de serviços de computação em nuvem, porém, o sistema distribuído Large Scale File System (LSFS), veio mudar o paradigma atual e mover o armazenamento distribuído para infraestruturas totalmente descentralizadas. Este é um sistema de ficheiros peer-to-peer não estruturado, parcialmente compatível com a interface POSIX, que permite a realização de leituras por parte de múltiplos utilizadores, mas escritas por parte de um só utilizador. Foi construído para atingir alta disponibilidade e resiliência e encontra-se preparado para escalar para infraes truturas do futuro. Todavia, o LSFS não apresenta operações essenciais de um sistema de ficheiros, como a eliminação ou modificação de dados, a grande carga que é exercida sobre a rede tem consequências negativas no sistema como um todo e a forma como este foi avaliado levanta várias questões. Com o propósito de resolver estes desafios, desenvolveu-se o improved Large Scale File System (iLSFS), um sistema de ficheiros que estende o sistema LSFS, dotando-o de uma melhor usabilidade, mas preservando todas as suas características fundamentais como a escalabilidade, a resiliência e a disponi bilidade. Para isso, o sistema adota soluções, como Tombstones, que viabilizam a eliminação de dados e a disponibilização de uma interface com maior compatibilidade com o standard POSIX, implementa métodos, como Version Vectors, que permitem o controlo de concorrência entre múltiplos utilizadores, e mecanismos, como caches, que ajudam a mitigar o problema de saturação da rede. Os resultados obtidos, demonstram que o iLSFS, com todas as funcionalidades introduzidas, apre senta uma melhor usabilidade sem, no entanto, comprometer significativamente o desempenho. Quando introduzido num caso de estudo real, demonstra-se que o sistema é capaz de escalar para ambientes de larga escala, com centenas de nodos, e mesmo quando submetido a cenários de instabilidade, onde a ocorrência de falhas aleatórias é a norma, o iLSFS mostra-se capaz de tolerar a falha de uma grande quantidade de nodos de armazenamento, sem que esta provoque uma disrupção do seu funcionamento. |
|---|---|
| Autores principais: | Ferreira, Alexandre José Branco |
| Assunto: | Sistema de ficheiros POSIX LSFS Gossip Escalabilidade Tolerância a faltas File system Scalability Fault tolerance |
| Ano: | 2023 |
| País: | Portugal |
| Tipo de documento: | dissertação de mestrado |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Universidade do Minho |
| Idioma: | português |
| Origem: | RepositóriUM - Universidade do Minho |
| Resumo: | A Internet of Things (IoT) é uma das áreas tecnológicas que necessita de sistemas distribuídos que suportem o armazenamento e acesso à enorme quantidade de dados constantemente produzidos por centenas a milhares de dispositivos. Até agora, a maioria dos sistemas desenvolvidos encontravam-se adaptados a instalações em centro de dados, impulsionados pela adoção de serviços de computação em nuvem, porém, o sistema distribuído Large Scale File System (LSFS), veio mudar o paradigma atual e mover o armazenamento distribuído para infraestruturas totalmente descentralizadas. Este é um sistema de ficheiros peer-to-peer não estruturado, parcialmente compatível com a interface POSIX, que permite a realização de leituras por parte de múltiplos utilizadores, mas escritas por parte de um só utilizador. Foi construído para atingir alta disponibilidade e resiliência e encontra-se preparado para escalar para infraes truturas do futuro. Todavia, o LSFS não apresenta operações essenciais de um sistema de ficheiros, como a eliminação ou modificação de dados, a grande carga que é exercida sobre a rede tem consequências negativas no sistema como um todo e a forma como este foi avaliado levanta várias questões. Com o propósito de resolver estes desafios, desenvolveu-se o improved Large Scale File System (iLSFS), um sistema de ficheiros que estende o sistema LSFS, dotando-o de uma melhor usabilidade, mas preservando todas as suas características fundamentais como a escalabilidade, a resiliência e a disponi bilidade. Para isso, o sistema adota soluções, como Tombstones, que viabilizam a eliminação de dados e a disponibilização de uma interface com maior compatibilidade com o standard POSIX, implementa métodos, como Version Vectors, que permitem o controlo de concorrência entre múltiplos utilizadores, e mecanismos, como caches, que ajudam a mitigar o problema de saturação da rede. Os resultados obtidos, demonstram que o iLSFS, com todas as funcionalidades introduzidas, apre senta uma melhor usabilidade sem, no entanto, comprometer significativamente o desempenho. Quando introduzido num caso de estudo real, demonstra-se que o sistema é capaz de escalar para ambientes de larga escala, com centenas de nodos, e mesmo quando submetido a cenários de instabilidade, onde a ocorrência de falhas aleatórias é a norma, o iLSFS mostra-se capaz de tolerar a falha de uma grande quantidade de nodos de armazenamento, sem que esta provoque uma disrupção do seu funcionamento. |
|---|