Publicação

Explaining clinical Artificial Intelligence predictions with Knowledge Graph Visualization

Detalhes bibliográficos
Resumo:	A inteligência artificial tem-se desenvolvido bastante ultimamente, sendo aplicada em diferentes contextos com variadas abordagens e modelos. Uma das abordagens que é frequentemente utilizada são os modelos de aprendizagem automática, especificamente modelos de aprendizagem profunda, que têm tido bastante sucesso. No entanto, um grande problema destes modelos é que são uma “caixa negra”. Isto significa que os modelos são opacos, sendo o seu funcionamento interno desconhecido, ou não interpretável por humanos. Esta característica limita a aplicação destes modelos, pois, não sendo inerentemente explicáveis, torna-se mais difícil confiar nas suas previsões. Esta limitação é ainda mais notória em áreas mais sensíveis, nomeadamente em aplicações biomédicas e clínicas. Neste tipo de situações, os utilizadores precisam de compreender porque ou como é que uma previsão foi feita, dado que uma previsão errada pode ter consequências graves. A área da inteligência artificial explicável foca-se neste problema e nas possíveis estratégias para o resolver. Os métodos de explicabilidade ajudam os utilizadores a compreender de forma mais clara porque é que certas previsões foram feitas pelos modelos. Esta compreensão poderá, então, permitir que os utilizadores confiem e aceitem melhor as previsões. Existem vários tipos de explicabilidade. Alguns modelos de inteligência artificial até são explicáveis por si só, como é o caso das árvores de decisão, ou de modelos de regressão linear. No caso dos modelos “caixa negra”, não é possível explicar o seu funcionamento, pelo que se usam sistemas de explicações “post-hoc”. Estes sistemas sugerem possíveis explicações para as previsões do modelo depois de estas serem realizadas, tentando produzir explicações úteis e fiéis ao modelo, em vez de tentar explicar o próprio funcionamento do modelo. Uma tecnologia que tem um grande potencial para contribuir para a inteligência artificial explicável são os grafos de conhecimento. Estes são representações gráficas de conhecimento que representam entidades (vértices) e as relações entre elas (arestas). Os diferentes tipos de entidades e relações que podem estar definidos num grafo de conhecimento são descritos por ontologias. Desta forma, as ontologias e os grafos de conhecimento permitem modelar domínios de uma forma estruturada e interligada, o que permite ter uma base de conhecimento partilhada. Estas características trazem inúmeras vantagens que podem ser aplicadas à explicabilidade, nomeadamente pela utilização de contexto semântico para produzir explicações. Uma das vantagens da utilização de grafos de conhecimento, é a possibilidade de criar explicações visuais, que poderão ser mais intuitivas e fáceis de interpretar. Atualmente, existem algumas abordagens que utilizam grafos de conhecimento para auxiliar na produção de explicações para modelos de inteligência artificial, mas estas não se focam na produção de visualizações. Por outro lado, existem também várias ferramentas de visualização de grafos de conhecimento, mas que não possuem todas as características necessárias para representar explicações semânticas. Assim, o principal objetivo deste trabalho é estudar como é que a visualização de grafos de conhecimento pode contribuir para produzir explicações semânticas sobre previsões de terapias personalizadas para o tratamento de cancro renal. Este trabalho poderá ser alargado a outras áreas de interesse, mas foi concebido para este caso de estudo específico, devido à natureza do projeto onde se encontra inseridoKATY, o qual tem como objetivo melhorar as previsões clínicas de tratamentos personalizados com um foco na área de cancro renal. A abordagem utilizada neste trabalho consiste, então, em representar visualmente caminhos que ligam cada paciente ao seu tratamento recomendado, através de ligações existentes num grafo de conhecimento que contém dados biomédicos e várias ontologias do domínio em estudo. Os principais objetivos que se pretendia atingir ao desenvolver este trabalho eram: desenvolver uma ferramenta de visualização capaz de suportar este tipo de explicações visuais; e conduzir estudos com utilizadores para avaliar as explicações visuais geradas e perceber o seu impacto na confiança e compreensão dos utilizadores nas previsões. O primeiro passo consistiu em criar pacientes de cancro renal simulados, com base em dados reais. De seguida, foi desenvolvida a ferramenta de visualização- VOWLExplain, com base na ferramenta de visualização de ontologias WebVOWL. Esta fase incluiu a extensão da Visual Notation for OWL Ontologies (VOWL), a qual define as normas gráficas para a representação dos diferentes elementos na visualização, com novos elementos e a sua respetiva representação. Para além disso, incluiu a alteração do código do WebVOWL, a aplicação web que permite interagir e explorar as visualizações. Estas alterações permitiram a inclusão de todos os requisitos para a visualização de explicações semânticas, criando com sucesso uma ferramenta de visualização para essa finalidade. Posteriormente, foram geradas as explicações semânticas, com base nos pacientes simulados, que pudessem ser visualizadas com o VOWLExplain e avaliadas por utilizadores. A última fase do trabalho foi, então, conduzir estudos com utilizadores. Para tal, 20 utilizadores com conhecimentos na área de ciências da vida e da saúde foram recrutados. A cada utilizador, foram apresentadas 6 previsões, tendo 3 delas uma explicação textual e as outras 3 uma explicação gráfica, utilizando o VOWLExplain. Através deste estudo, vários fatores puderam ser avaliados, nomeadamente a confiança inicial dos utilizadores em previsões feitas por modelos de inteligência artificial, a preferência por explicações textuais ou gráficas, e a forma como as explicações contribuem para aumentar a confiança nas previsões. Os resultados do trabalho foram bastante positivos, tendo sido desenvolvido o VOWLExplain- uma ferramenta de visualização que responde aos requisitos para a visualização de explicações semânticas, bem como simulações de pacientes e explicações que permitiram testar a validade e utilidade desta ferramenta. Em relação aos resultados dos estudos com utilizadores, estes demonstraram que existe uma menor probabilidade de os utilizadores confiarem em previsões feitas por modelos de inteligência artificial na área da saúde, o que demonstra a importância da investigação neste tema. Relativamente à comparação entre as explicações gráficas e textuais, os utilizadores mostraram preferência pelas explicações gráficas em todos os critérios avaliados: correção, clareza e confiança. Dos diferentes critérios avaliados, a diferença entre a avaliação das explicações gráficas e textuais foi mais acentuada no critério clareza e menos acentuada no critério correção. Estes resultados eram de certa forma expectáveis. Tendo em conta que o conteúdo das explicações é exatamente o mesmo para ambos os tipos, faz sentido que a correção não seja muito distinta para ambos os casos. A clareza e a confiança poderão ser substancialmente superiores devido às características dos grafos, tais como a sua componente visual e o contexto que fornecem, que os tornam mais apelativos. Em relação à diferença entre a confiança inicial na previsão e depois de apresentada a explicação, esta foi notória, tanto para as explicações textuais como para as explicações gráficas, havendo um aumento na confiança em ambos os casos. Globalmente, os utilizadores consideraram as explicações bastante úteis, e, quando perguntados diretamente, a preferência pelas explicações gráficas confirmou-se. Estes resultados são positivos, pois, apesar de as explicações gráficas implicarem a utilização e interação com uma ferramenta informática, isto não parece prejudicar a sua apreciação pelos utilizadores das áreas de saúde e biologia, que serão o público alvo para uma aplicação prática desta tecnologia. Esta apreciação pela ferramenta desenvolvida foi também notada durante os estudos, nos quais os utilizadores exploraram com facilidade várias das funcionalidades da ferramenta de acordo com as suas necessidades e deixaram vários comentários com feedback positivo e algumas sugestões. Apesar do trabalho ter sido concretizado com sucesso e o VOWLExplain ter sido desenvolvido correspondendo a todos os requisitos para a visualização de explicações semânticas, existem alguns aspetos que poderão ser melhorados no futuro. Um possível aspeto a melhorar, que foi salientado pelos utilizadores, é distinguir a representação do sujeito (neste caso, paciente) e previsão (medicamento) do resto do caminho que os une. Futuramente, esta e outras sugestões dos utilizadores poderão ser tidas em conta para melhorar o VOWLExplain e possivelmente integrar as explicações textuais com as explicações gráficas. Esta combinação poderá ser benéfica para agradar todos os tipos de utilizadores. Depois destas adaptações, numa fase mais desenvolvida do projeto, poderão realizar-se estudos de maior escala, recrutando utilizadores com experiência nas áreas clínica, biomédica e de saúde.
Autores principais:	Serrano, Filipa Oliveira Rego Águedo
Assunto:	Inteligência Artificial Explicável Grafo de Conhecimento Ontologia Visualização Previsões Clínicas Teses de mestrado - 2023
Ano:	2023
País:	Portugal
Tipo de documento:	dissertação de mestrado
Tipo de acesso:	acesso aberto
Instituição associada:	Universidade de Lisboa
Idioma:	inglês
Origem:	Repositório da Universidade de Lisboa

Descrição
Resumo:	A inteligência artificial tem-se desenvolvido bastante ultimamente, sendo aplicada em diferentes contextos com variadas abordagens e modelos. Uma das abordagens que é frequentemente utilizada são os modelos de aprendizagem automática, especificamente modelos de aprendizagem profunda, que têm tido bastante sucesso. No entanto, um grande problema destes modelos é que são uma “caixa negra”. Isto significa que os modelos são opacos, sendo o seu funcionamento interno desconhecido, ou não interpretável por humanos. Esta característica limita a aplicação destes modelos, pois, não sendo inerentemente explicáveis, torna-se mais difícil confiar nas suas previsões. Esta limitação é ainda mais notória em áreas mais sensíveis, nomeadamente em aplicações biomédicas e clínicas. Neste tipo de situações, os utilizadores precisam de compreender porque ou como é que uma previsão foi feita, dado que uma previsão errada pode ter consequências graves. A área da inteligência artificial explicável foca-se neste problema e nas possíveis estratégias para o resolver. Os métodos de explicabilidade ajudam os utilizadores a compreender de forma mais clara porque é que certas previsões foram feitas pelos modelos. Esta compreensão poderá, então, permitir que os utilizadores confiem e aceitem melhor as previsões. Existem vários tipos de explicabilidade. Alguns modelos de inteligência artificial até são explicáveis por si só, como é o caso das árvores de decisão, ou de modelos de regressão linear. No caso dos modelos “caixa negra”, não é possível explicar o seu funcionamento, pelo que se usam sistemas de explicações “post-hoc”. Estes sistemas sugerem possíveis explicações para as previsões do modelo depois de estas serem realizadas, tentando produzir explicações úteis e fiéis ao modelo, em vez de tentar explicar o próprio funcionamento do modelo. Uma tecnologia que tem um grande potencial para contribuir para a inteligência artificial explicável são os grafos de conhecimento. Estes são representações gráficas de conhecimento que representam entidades (vértices) e as relações entre elas (arestas). Os diferentes tipos de entidades e relações que podem estar definidos num grafo de conhecimento são descritos por ontologias. Desta forma, as ontologias e os grafos de conhecimento permitem modelar domínios de uma forma estruturada e interligada, o que permite ter uma base de conhecimento partilhada. Estas características trazem inúmeras vantagens que podem ser aplicadas à explicabilidade, nomeadamente pela utilização de contexto semântico para produzir explicações. Uma das vantagens da utilização de grafos de conhecimento, é a possibilidade de criar explicações visuais, que poderão ser mais intuitivas e fáceis de interpretar. Atualmente, existem algumas abordagens que utilizam grafos de conhecimento para auxiliar na produção de explicações para modelos de inteligência artificial, mas estas não se focam na produção de visualizações. Por outro lado, existem também várias ferramentas de visualização de grafos de conhecimento, mas que não possuem todas as características necessárias para representar explicações semânticas. Assim, o principal objetivo deste trabalho é estudar como é que a visualização de grafos de conhecimento pode contribuir para produzir explicações semânticas sobre previsões de terapias personalizadas para o tratamento de cancro renal. Este trabalho poderá ser alargado a outras áreas de interesse, mas foi concebido para este caso de estudo específico, devido à natureza do projeto onde se encontra inseridoKATY, o qual tem como objetivo melhorar as previsões clínicas de tratamentos personalizados com um foco na área de cancro renal. A abordagem utilizada neste trabalho consiste, então, em representar visualmente caminhos que ligam cada paciente ao seu tratamento recomendado, através de ligações existentes num grafo de conhecimento que contém dados biomédicos e várias ontologias do domínio em estudo. Os principais objetivos que se pretendia atingir ao desenvolver este trabalho eram: desenvolver uma ferramenta de visualização capaz de suportar este tipo de explicações visuais; e conduzir estudos com utilizadores para avaliar as explicações visuais geradas e perceber o seu impacto na confiança e compreensão dos utilizadores nas previsões. O primeiro passo consistiu em criar pacientes de cancro renal simulados, com base em dados reais. De seguida, foi desenvolvida a ferramenta de visualização- VOWLExplain, com base na ferramenta de visualização de ontologias WebVOWL. Esta fase incluiu a extensão da Visual Notation for OWL Ontologies (VOWL), a qual define as normas gráficas para a representação dos diferentes elementos na visualização, com novos elementos e a sua respetiva representação. Para além disso, incluiu a alteração do código do WebVOWL, a aplicação web que permite interagir e explorar as visualizações. Estas alterações permitiram a inclusão de todos os requisitos para a visualização de explicações semânticas, criando com sucesso uma ferramenta de visualização para essa finalidade. Posteriormente, foram geradas as explicações semânticas, com base nos pacientes simulados, que pudessem ser visualizadas com o VOWLExplain e avaliadas por utilizadores. A última fase do trabalho foi, então, conduzir estudos com utilizadores. Para tal, 20 utilizadores com conhecimentos na área de ciências da vida e da saúde foram recrutados. A cada utilizador, foram apresentadas 6 previsões, tendo 3 delas uma explicação textual e as outras 3 uma explicação gráfica, utilizando o VOWLExplain. Através deste estudo, vários fatores puderam ser avaliados, nomeadamente a confiança inicial dos utilizadores em previsões feitas por modelos de inteligência artificial, a preferência por explicações textuais ou gráficas, e a forma como as explicações contribuem para aumentar a confiança nas previsões. Os resultados do trabalho foram bastante positivos, tendo sido desenvolvido o VOWLExplain- uma ferramenta de visualização que responde aos requisitos para a visualização de explicações semânticas, bem como simulações de pacientes e explicações que permitiram testar a validade e utilidade desta ferramenta. Em relação aos resultados dos estudos com utilizadores, estes demonstraram que existe uma menor probabilidade de os utilizadores confiarem em previsões feitas por modelos de inteligência artificial na área da saúde, o que demonstra a importância da investigação neste tema. Relativamente à comparação entre as explicações gráficas e textuais, os utilizadores mostraram preferência pelas explicações gráficas em todos os critérios avaliados: correção, clareza e confiança. Dos diferentes critérios avaliados, a diferença entre a avaliação das explicações gráficas e textuais foi mais acentuada no critério clareza e menos acentuada no critério correção. Estes resultados eram de certa forma expectáveis. Tendo em conta que o conteúdo das explicações é exatamente o mesmo para ambos os tipos, faz sentido que a correção não seja muito distinta para ambos os casos. A clareza e a confiança poderão ser substancialmente superiores devido às características dos grafos, tais como a sua componente visual e o contexto que fornecem, que os tornam mais apelativos. Em relação à diferença entre a confiança inicial na previsão e depois de apresentada a explicação, esta foi notória, tanto para as explicações textuais como para as explicações gráficas, havendo um aumento na confiança em ambos os casos. Globalmente, os utilizadores consideraram as explicações bastante úteis, e, quando perguntados diretamente, a preferência pelas explicações gráficas confirmou-se. Estes resultados são positivos, pois, apesar de as explicações gráficas implicarem a utilização e interação com uma ferramenta informática, isto não parece prejudicar a sua apreciação pelos utilizadores das áreas de saúde e biologia, que serão o público alvo para uma aplicação prática desta tecnologia. Esta apreciação pela ferramenta desenvolvida foi também notada durante os estudos, nos quais os utilizadores exploraram com facilidade várias das funcionalidades da ferramenta de acordo com as suas necessidades e deixaram vários comentários com feedback positivo e algumas sugestões. Apesar do trabalho ter sido concretizado com sucesso e o VOWLExplain ter sido desenvolvido correspondendo a todos os requisitos para a visualização de explicações semânticas, existem alguns aspetos que poderão ser melhorados no futuro. Um possível aspeto a melhorar, que foi salientado pelos utilizadores, é distinguir a representação do sujeito (neste caso, paciente) e previsão (medicamento) do resto do caminho que os une. Futuramente, esta e outras sugestões dos utilizadores poderão ser tidas em conta para melhorar o VOWLExplain e possivelmente integrar as explicações textuais com as explicações gráficas. Esta combinação poderá ser benéfica para agradar todos os tipos de utilizadores. Depois destas adaptações, numa fase mais desenvolvida do projeto, poderão realizar-se estudos de maior escala, recrutando utilizadores com experiência nas áreas clínica, biomédica e de saúde.