Author(s): Santos, Fábio Roberto Barros dos
Date: 2016
Persistent ID: http://hdl.handle.net/10400.22/10941
Origin: Repositório Científico do Instituto Politécnico do Porto
Subject(s): Qualidade dos dados; DQM; Operações de limpeza de dados; Ferramentas de limpeza de dados; Reescrita de operações; Ontologias; Data Quality; Data Cleaning Operations; Query rewriting; Ontologies; Sistemas Computacionais
Este trabalho surge num contexto em que as tecnologias estão presentes em grande escala no quotidiano das organizações/pessoas, produzindo uma elevada quantidade de dados. Nesses dados, por sua vez residem problemas de qualidade que precisam de ser tratados de uma forma simples e eficaz. O problema abordado neste trabalho é a reescrita de operações de limpeza de dados e a sua aplicabilidade entre diferentes repositórios/ferramentas de limpeza de dados. Essa necessidade surge pelo facto de no momento em que se define uma operação, a mesma se encontra dependente do repositório de dados/linguagem que utiliza. O objetivo proposto neste trabalho consiste em especificar as operações a um elevado nível conceptual (permitindo o seu acesso a outros utilizadores sem ser unicamente os especialistas) e permitir a automatização da sua reescrita. A abordagem adotada consiste na elaboração de uma solução que implementa um processo de reescrita genérico, tendo por base conteúdo de configuração definido de acordo com o contexto em que vai ser utilizada. O conteúdo de configuração utilizado consiste na captura sobre um formato de ontologias do domínio (descrição da estrutura) do repositório de dados utilizado para definir as operações como também do domínio do repositório escolhido para a reescrita, do vocabulário utilizado para definir as operações como também do vocabulário que descreve a linguagem utilizada na ferramenta de limpeza de dados (para a qual a operação vai ser reescrita), alinhamentos entre as ontologias definidas anteriormente com o objetivo de obter as correspondências entre elementos das ontologias e por fim uma gramática que permite a definir a estrutura das operações. A partir da gramática e do conteúdo criado pelo processo de reescrita a um nível conceptual, é possível construir a operação final devidamente formatada para ser utilizada na ferramenta de dados. Os resultados alcançados permitem a reescrita de operações simples utilizadas na maioria dos casos para reutilização em outros contextos de uma forma automática/semiautomática entre diferentes repositórios de dados/ferramentas de limpeza de dados. As operações que se encontram a um nível semiautomático de reescrita deve-se ao facto de necessitarem de parâmetros definidos explicitamente pelo utilizador. Apesar ser possível reescrever operações simples, existem limitações de reescrita quer ao nível da complexidade das operações, como também do suporte prestado pelo vocabulário base utilizado relativamente às funcionalidades das ferramentas de limpeza de dados.
This work arises in a context where technologies are present in large scale in the daily life of organizations/individuals producing a high amount of data. In the data, there are quality problems that need to be addressed in a simple and effective manner. The problem addressed in this paper is the rewriting of data cleaning and its applicability across diferente repositories/data cleansing tools. This need arises because when the user defines an operation, it is dependent on the data repository/language it uses. The goal proposed in this paper is to specify the operations at a high conceptual level (allowing access to other users not experts only) and enable automation of its rewrite. The approach consists in developing a solution that implements a generic rewriting process, ith the defined configuration content according to the context in which it will be used. The onfiguration content used is the capture of a domain through an ontology (description of structure) of data repository used to define the operations as well as the repository of the domain chosen for the rewrite, the vocabulary used to define the operations as well as the vocabulary that describes the language used in data cleaning tool (for which the operation will be rewritten), alignments between the previously defined ontologies in order to obtain correspondence between elements of ontologies and finally a grammar that allows to define operations’ structure. From the grammar and content created by the rewrite process at a onceptual level, it is possible to construct the final operation with the properly formats for use in data tool. The results achieved allow the rewriting of simple operations used in most cases for reuse in other contexts in an automatic/semiautomatic manner between different data epositories/data cleansing tools. The operations which are in a semiautomatic level of rewriting due to the fact that require explicit user-defined parameters. Although it is possible to rewrite simple operations, there are some rewriting limitations at operations’ complexity level, as well as in the support provided by the base vocabulary used comparing to the features of data cleansing tools.
