Abstract The concept of Edge Computing came has a way to address the concerns related to the integration of Internet of Things (IoT) in a cloud service infrastructure, such as resource limitations, performance requirements, and data safety and privacy. For developers wanting to create a such an infrastructure, an analysis on how to perform this integration need to be made, from choosing which architecture to use in the system, to how it will be deployed, and how to optimize the data processing at the edge. Through the development of a management infrastructure for the CTT locker network, Locky, we demonstrate the factors that need to be taken into consideration when developing a distributed system with edge devices, as well as testing and comparing orchestration runtimes for edge devices.

In this paper we compare different technologies that support distributed computing as a means to address complex tasks. We address the task of n-gram text extraction which is a big computational given a large amount of textual data to process. In order to deal with such complexity we have to adopt and implement parallelization patterns. Nowadays there are several patterns, platforms and even languages that can be used for the parallelization task. We implemented this task on three platforms: (1) MPJ Express, (2) Apache Hadoop, and (3) Apache Spark. The experiments were implemented using two kinds of datasets composed by: (A) a large number of small files, and (B) a small number of large files. Each experiment uses both datasets and the experiment repeats for a set of different file sizes. We compared performance and efficiency among MPJ Express, Apache Hadoop and Apache Spark. As a final result we are able to provide guidelines for choosing the platform that is best suited for each kind of data set regarding its overall size and granularity of the input data.

Existem atualmente diversas Application Programming Interfaces (APIs) que ajudam na programação de aplicações distribuídas. Na maior parte dos casos, estas utilizam de forma in exível um único tipo de protocolo aplicacional e interface, cando dependente dos protocolos de transporte já existentes e do sistema operativo. Para o programador, a stack de protocolos e o tipo de interface têm que ser decididos explicitamente antes do estabelecimento da comunicação entre os processos. Algumas APIs facilitam a programação ocultando alguns aspetos espec í cos dos mecanismos e protocolos de comunicação utilizados, disponibilizando uma interface mais homogeneizada. No entanto, a programação continua a não ser totalmente transparente e independente dos protocolos de comunicação utilizados, dos sistemas operativos e da localização relativa dos processos comunicantes. Além disso, estas APIs não tomam decisões sobre o mecanismo de comunicação a utilizar quando existem várias alternativas possíveis, sendo esta decisão da responsabilidade do programador. Num contexto de implementação de simuladores distribuídos e modulares para protocolos de redes de computadores e sistemas de comunicação, seria vantajoso poder-se utilizar uma API para comunicação dos processos de simulação que disponibilizasse apenas um único interface de programação e que decidisse de forma transparente o mecanismo ou protocolo comunicacional mais e ciente, tendo em conta a localização relativa dos processos. Nesta dissertação são abordadas as soluções semelhantes já existentes e é estudada uma API que pretende preencher estas lacunas. A arquitetura desta API será depois apresentada, assim como uma solução com base na investigação realizada. Por m, os resultados dos testes serão analizados e a conclusão apresentada. Esta dissertação foi desenvolvida no contexto do projeto RoutUM, um simulador de redes de computadores atualmente a ser desenvolvido pela Universidade do Minho.

In the last years, the amount of devices that can be connected to a network grew significantly allowing to, among other tasks, collect data about the environment or the people in it in a non-intrusive way. This generated nowadays well-known topics such as Big Data or the Internet of Things. This also opened the door to the development of novel and interesting applications. In this paper we propose a distributed system for acquiring data about the users of technological devices in a non-intrusive way. We describe how this data can be collected and transformed to produce meaningful interaction features, that reveal the state of the individuals. We analyse the requirements of such a system, namely in terms of storage and speed, and describe three prototypes currently being used in three different domains of application.

A Aprendizagem Máquina (AM) tornou–se uma técnica essencial para vários sectores (p.ex., saúde, finanças) que pretendem extrair novas informações dos seus dados. No entanto, estes tendem a conter informações sensíveis, levantando preocupações sobre a privacidade e segurança e levando ao desenvolvimento de soluções de Aprendizagem Máquina com Preservação da Privacidade (AMPP). Isto é particularmente relevante quando esses dados, assim como a computação feita sobre eles, precisam de ser transferidos para infraestruturas de terceiros (i.e., computação em nuvem) ou diretamente processados no dispositivo móvel do utilizador. Nesta tese, mostramos que as soluções atuais apresentam várias limitações, sendo apenas aplicáveis a casos de uso específicos, exigem que os utilizadores reimplementem os seus algoritmos de AM ou comprometem significativamente o desempenho das cargas de trabalho. Para responder a estes desafios e melhorar a adoção prática de soluções AMPP, propomos três contribuições. Primeiro, introduzimos o Soteria, um novo sistema que aproveita a escalabilidade e a fiabilidade do Apache Spark e da sua biblioteca ML (MLlib). Este garante que as operações críticas são realizadas exclusivamente em enclaves seguros fornecidos por Ambientes de Computação Confiáveis (ACC). Isto significa que os dados sensíveis a ser processados só existem em claro dentro do enclave, estando cifrados no resto do fluxo de dados (i.e., rede, armazenamento). Esta solução assegura a privacidade dos dados durante o treino e inferência. Embora o Soteria se revele uma solução prática de AMPP para AM genérica, este não suporta outros tipos de dados, como é o caso dos dados genómicos. Assim, propomos o Gyosa, uma nova solução de computação distribuída para estudos de associação do genoma (GWAS) com preservação da privacidade. Diferente de outras soluções, o Gyosa oferece uma diferenciação fina entre informação sensível e não sensível processada por GWAS num ambiente distribuído. Finalmente, o TAPUS, centra–se no compromisso entre precisão e privacidade para ambientes de AM distribuída sem acesso a hardware especializado. Para tal, combinamos a Aprendizagem Federada e a Privacidade Diferencial (PD) e avaliamos o impacto de diferentes algoritmos baseados em PD sobre o desafio de compreender as preferências dos utilizadores em termos de modalidades de transporte. Com estas contribuições, melhoramos o atual estado da arte dos sistemas de aprendizagem automática distribuídos e com preservação da privacidade.