Publicação
The Base-Rate fallacy in Artificial Intelligence systems
| Resumo: | A Falácia da Taxa de Base é um viés cognitivo humano que surge tipicamente em contextos nos quais são tomadas decisões sob algum grau de incerteza. Particularmente, este viés ocorre quando não é dada consideração suficiente a informação relativa às probabilidades prévias de um evento numa população (i.e., taxas de base), em benefício de outra informação mais específica (por exemplo, informação estereotípica ou mais detalhada). Julgamentos influenciados por este fenómeno, contrariam uma regra fundamental para a atualização de probabilidades, o Teorema de Bayes. De acordo com este teorema, ambas as fontes de informação devem ser consideradas, ou seja, as probabilidades prévias devem ser integradas com a informação específica para prever o resultado do evento. Esta falácia tem sido amplamente investigada em estudos no domínio da Psicologia Cognitiva. No entanto, ainda não existe uma explicação consensual relativamente aos processos cognitivos que provocam este viés. Nesta dissertação propõe-se uma abordagem multidisciplinar, integrando o estudo deste viés com uma área que recentemente tem demonstrado grandes avanços, a Inteligência Artificial (IA). A aplicação de conhecimentos e métodos da IA na investigação deste viés poderá contribuir com novas perspetivas relativamente à sua origem. Adicionalmente, analisar a presença deste viés em sistemas de IA, permitirá uma melhor compreensão do modo como vieses humanos influenciam estes sistemas. No presente trabalho foram definidos dois objetivos para estudar esta falácia com recurso à IA. O primeiro consistiu em avaliar as respostas de modelos de IA treinados em grandes quantidades de texto – Modelos de Linguagem de Grande Escala (LLMs, de Large Language Models em inglês) – a problemas que tipicamente desencadeiam a Falácia da Taxa de Base em humanos. Através desta análise pretendia-se explorar se sistemas de IA, que possuem um alto poder computacional, demonstram o mesmo viés cognitivo observado em humanos, cujos recursos cognitivos disponíveis para responder a um determinado problema são limitados. Para complementar esta análise, delineou-se como segundo objetivo o desenvolvimento de uma rede neuronal que, através da informação numérica de problemas de Taxa de Base, previsse a respetiva solução segundo o Teorema de Bayes. Posteriormente, foram testadas diferentes modificações a esta rede neuronal, de modo a tentar simular o padrão de respostas humano. Estas modificações tinham como propósito explorar os mecanismos cognitivos subjacentes a este viés. Especificamente, investigar qual a fase do processamento cognitivo na origem deste viés. Este tem sido um dos aspetos relativamente aos quais a literatura da Falácia da Taxa de Base tem divergido. Algumas teorias apontam para um problema de seleção das fontes de informação. Isto é, na fase de codificação da informação, a evidência específica fornecida seria utilizada para produzir o julgamento, enquanto, em contrapartida, as probabilidades prévias seriam ignoradas. Por outro lado, outras teorias dão ênfase à integração da informação como a etapa na qual se desencadeia este viés. Neste caso, toda a informação seria considerada, mas esta não seria integrada de forma Bayesiana. Ainda relevante para este debate, alguns estudos recentes têm salientado que a consideração das probabilidades prévias na presença de outra informação mais específica pode estar sujeita a diferenças individuais. De modo a obter uma comparação mais precisa do desempenho dos sistemas de IA com o desempenho humano no conjunto de problemas utilizados neste trabalho, foi conduzido um estudo no qual participantes humanos responderam a esses mesmos problemas. Na literatura, diferentes problemas têm sido desenvolvidos para estudar este viés. Neste estudo optou-se pela utilização de problemas semelhantes ao problema clássico dos Advogados e Engenheiros (Kahneman & Tversky, 1973). Este problema tipicamente apresenta as probabilidades prévias de dois grupos de indivíduos numa amostra (ex.: 70 advogados e 30 engenheiros), e uma descrição – estereotípica de um dos grupos – de um indivíduo retirado dessa amostra (ex.: Este indivíduo não demonstra interesse em questões políticas e os seus passatempos incluem carpintaria, velejar e puzzles matemáticos). Seguidamente é pedida uma estimativa da probabilidade do indivíduo descrito pertencer a um dos grupos (ex.: Qual é a probabilidade deste indivíduo ser um engenheiro?). O estudo com participantes humanos foi dividido em duas experiências. A primeira experiência incluía problemas com esta estrutura clássica. No entanto, o valor diagnóstico da descrição (que é subjetivo) não fica definido nesta estrutura, não sendo possível uma quantificação Bayesiana do desempenho. Assim, na segunda experiência foram utilizados problemas novos, propostos por Ferreira et al. (2023), nos quais o valor diagnóstico da descrição é averiguado para cada participante. Em ambas as experiências foram ainda manipulados alguns fatores que, em estudos anteriores, demonstraram influenciar a consideração das probabilidades prévias. Na experiência com problemas clássicos foram variadas a presença de conflito entre a informação apresentada e a extremidade das probabilidades prévias. Os resultados obtidos demonstraram: diferentes distribuições das respostas dos participantes entre problemas com e sem conflito; uma maior consideração das probabilidades prévias quando estas eram mais extremas; assim como um efeito da interação destes dois fatores. Na experiência com problemas novos, foi variada a ordem de apresentação da informação e a solução Bayesiana correta para os dados apresentados a cada participante. Apenas este último fator demonstrou um efeito nos resultados obtidos neste estudo. Os participantes deram respostas diferentes para cada uma das condições, demonstrando, em geral, sensibilidade à informação apresentada. No entanto, estas respostas apresentaram desvios à solução correta, sugerindo uma integração não Bayesiana da informação por parte dos participantes. Nestas duas experiências foi ainda avaliada a influência de diferenças individuais no pensamento racional nas respostas a estes problemas. Para os problemas clássicos com conflito foi encontrada uma tendência para participantes com maior disposição para o pensamento racional darem mais consideração às probabilidades prévias. Nenhuma associação foi encontrada na experiência com problemas novos. Através deste estudo com participantes humanos foi possível obter uma referência do desempenho humano para a avaliação do desempenho dos LLMs nos mesmos problemas. Os LLMs testados neste trabalho foram o ChatGPT, o Gemini e o Copilot. Foi colocada a hipótese de que os LLMs demonstrariam um melhor desempenho nos problemas clássicos relativamente aos problemas novos, visto que os primeiros já foram amplamente explorados em estudos deste viés, e, portanto, a respetiva solução é facilmente encontrada. Porém, os resultados obtidos não corroboraram esta hipótese, aproximando-se, em geral, mais do padrão oposto, o que sugere que o desempenho dos LLMs é melhor quando os problemas quantificam o valor diagnóstico da descrição, permitindo uma solução Bayesiana concreta. Relativamente às variações na presença de conflito, extremidade das probabilidades prévias, ordem da informação e solução Bayesiana, o único que, em geral, produziu diferenças consistentes nas respostas dos LLMs foi a solução Bayesiana. Os problemas foram apresentados em dois momentos distintos, primeiro em inglês, e, passado três meses, em português. Os diferentes LLMs obtiveram desempenhos distintos entre si, bem como entre os diferentes momentos de avaliação. Em termos de desempenho Bayesiano, o ChatGPT foi o modelo que de forma mais frequente e consistente gerou respostas Bayesianas. O desempenho deste modelo foi também superior ao dos participantes humanos. O Gemini e o Copilot foram menos consistentes em gerar a resposta Bayesiana. Todos os LLMs demonstraram uma evolução em termos de desempenho Bayesiano entre o primeiro e o segundo momento de avaliação. Deste modo, os resultados obtidos sugerem que a constante evolução e aperfeiçoamento destes modelos também parece estar a refletir-se na capacidade de os mesmos gerarem respostas corretas em problemas que desencadeiam a Falácia da Taxa de Base em humanos. Relativamente ao segundo objetivo deste trabalho, foi desenvolvida uma rede neuronal para prever a resposta Bayesiana com base nos dados numéricos apresentados nos problemas de Taxa de Base (probabilidades prévias e probabilidades condicionadas do valor diagnóstico da descrição). O modelo desenvolvido demonstrou um bom desempenho na fase de validação cruzada, bem como para novos exemplos gerados aleatoriamente. As previsões dadas a estes exemplos desviaram-se pouco da solução Bayesiana e resultaram em erros médios inferiores aos erros dos participantes humanos. Contudo, quando testada com um conjunto de exemplos retirados dos dados apresentados aos participantes, a rede neuronal demonstrou desvios ligeiramente maiores à solução Bayesiana. Posteriormente, esta rede neuronal foi modificada, de modo a tentar obter os padrões de resposta humanos. Para tal foram reduzidos os pesos de cada um dos dados de entrada (probabilidades prévias e probabilidades condicionadas), variando o seu impacto na resposta final. Quando reduzido o seu peso, nenhum destes dados demonstrou produzir de forma consistente o padrão de respostas mais próximo do padrão humano. Porém, de modo geral, pareceu existir, para todos os dados de entrada, uma tendência para quanto mais próximos da omissão completa na resposta final, maior a diferença entre as respostas da rede neuronal e as dos participantes humanos. Este resultado parece favorecer a perspetiva de que este viés cognitivo resulta mais de um problema de integração da informação e menos de falhas na codificação da mesma. No entanto, estes resultados devem ser considerados com prudência, devido à grande variabilidade presente nos mesmos e ao facto da rede neuronal sem modificações apresentar alguns desvios à solução Bayesiana. Em qualquer caso, apesar da necessidade de aperfeiçoamento deste modelo, a abordagem aqui utilizada parece oferecer um método promissor para a investigação da Falácia da Taxa de Base, e, possivelmente, de outros vieses cognitivos. |
|---|---|
| Autores principais: | Costa, Sofia Margarida Nogueira Santiago e |
| Assunto: | Falácia da Taxa de Base Inteligência Artificial Modelos de Linguagem de Grande Escala Modelação Cognitiva Computacional Teorema de Bayes Teses de mestrado - 2024 |
| Ano: | 2024 |
| País: | Portugal |
| Tipo de documento: | dissertação de mestrado |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Universidade de Lisboa |
| Idioma: | inglês |
| Origem: | Repositório da Universidade de Lisboa |
| _version_ | 1866810874362068992 |
|---|---|
| author | Costa, Sofia Margarida Nogueira Santiago e |
| author_facet | Costa, Sofia Margarida Nogueira Santiago e |
| author_role | author |
| contributor_name_str_mv | Ferreira, Mário Augusto de Carvalho Boto Correia, Luís Miguel Parreira e Repositório Científico de Acesso Aberto da ULisboa |
| country_str | PT |
| creators_json_txt | [{\"Person.name\":\"Costa, Sofia Margarida Nogueira Santiago e\"}] |
| datacite.contributors.contributor.contributorName.fl_str_mv | Ferreira, Mário Augusto de Carvalho Boto Correia, Luís Miguel Parreira e Repositório Científico de Acesso Aberto da ULisboa |
| datacite.creators.creator.creatorName.fl_str_mv | Costa, Sofia Margarida Nogueira Santiago e |
| datacite.date.Accepted.fl_str_mv | 2024-01-01T00:00:00Z |
| datacite.date.available.fl_str_mv | 2025-01-11T15:09:18Z |
| datacite.date.embargoed.fl_str_mv | 2025-01-11T15:09:18Z |
| datacite.rights.fl_str_mv | http://purl.org/coar/access_right/c_abf2 |
| datacite.subjects.subject.fl_str_mv | Falácia da Taxa de Base Inteligência Artificial Modelos de Linguagem de Grande Escala Modelação Cognitiva Computacional Teorema de Bayes Teses de mestrado - 2024 |
| datacite.titles.title.fl_str_mv | The Base-Rate fallacy in Artificial Intelligence systems |
| dc.contributor.none.fl_str_mv | Ferreira, Mário Augusto de Carvalho Boto Correia, Luís Miguel Parreira e Repositório Científico de Acesso Aberto da ULisboa |
| dc.creator.none.fl_str_mv | Costa, Sofia Margarida Nogueira Santiago e |
| dc.date.Accepted.fl_str_mv | 2024-01-01T00:00:00Z |
| dc.date.available.fl_str_mv | 2025-01-11T15:09:18Z |
| dc.date.embargoed.fl_str_mv | 2025-01-11T15:09:18Z |
| dc.format.none.fl_str_mv | application/pdf |
| dc.identifier.none.fl_str_mv | http://hdl.handle.net/10400.5/97097 |
| dc.language.none.fl_str_mv | eng |
| dc.rights.none.fl_str_mv | http://purl.org/coar/access_right/c_abf2 |
| dc.subject.none.fl_str_mv | Falácia da Taxa de Base Inteligência Artificial Modelos de Linguagem de Grande Escala Modelação Cognitiva Computacional Teorema de Bayes Teses de mestrado - 2024 |
| dc.title.fl_str_mv | The Base-Rate fallacy in Artificial Intelligence systems |
| dc.type.none.fl_str_mv | http://purl.org/coar/resource_type/c_bdcc |
| description | A Falácia da Taxa de Base é um viés cognitivo humano que surge tipicamente em contextos nos quais são tomadas decisões sob algum grau de incerteza. Particularmente, este viés ocorre quando não é dada consideração suficiente a informação relativa às probabilidades prévias de um evento numa população (i.e., taxas de base), em benefício de outra informação mais específica (por exemplo, informação estereotípica ou mais detalhada). Julgamentos influenciados por este fenómeno, contrariam uma regra fundamental para a atualização de probabilidades, o Teorema de Bayes. De acordo com este teorema, ambas as fontes de informação devem ser consideradas, ou seja, as probabilidades prévias devem ser integradas com a informação específica para prever o resultado do evento. Esta falácia tem sido amplamente investigada em estudos no domínio da Psicologia Cognitiva. No entanto, ainda não existe uma explicação consensual relativamente aos processos cognitivos que provocam este viés. Nesta dissertação propõe-se uma abordagem multidisciplinar, integrando o estudo deste viés com uma área que recentemente tem demonstrado grandes avanços, a Inteligência Artificial (IA). A aplicação de conhecimentos e métodos da IA na investigação deste viés poderá contribuir com novas perspetivas relativamente à sua origem. Adicionalmente, analisar a presença deste viés em sistemas de IA, permitirá uma melhor compreensão do modo como vieses humanos influenciam estes sistemas. No presente trabalho foram definidos dois objetivos para estudar esta falácia com recurso à IA. O primeiro consistiu em avaliar as respostas de modelos de IA treinados em grandes quantidades de texto – Modelos de Linguagem de Grande Escala (LLMs, de Large Language Models em inglês) – a problemas que tipicamente desencadeiam a Falácia da Taxa de Base em humanos. Através desta análise pretendia-se explorar se sistemas de IA, que possuem um alto poder computacional, demonstram o mesmo viés cognitivo observado em humanos, cujos recursos cognitivos disponíveis para responder a um determinado problema são limitados. Para complementar esta análise, delineou-se como segundo objetivo o desenvolvimento de uma rede neuronal que, através da informação numérica de problemas de Taxa de Base, previsse a respetiva solução segundo o Teorema de Bayes. Posteriormente, foram testadas diferentes modificações a esta rede neuronal, de modo a tentar simular o padrão de respostas humano. Estas modificações tinham como propósito explorar os mecanismos cognitivos subjacentes a este viés. Especificamente, investigar qual a fase do processamento cognitivo na origem deste viés. Este tem sido um dos aspetos relativamente aos quais a literatura da Falácia da Taxa de Base tem divergido. Algumas teorias apontam para um problema de seleção das fontes de informação. Isto é, na fase de codificação da informação, a evidência específica fornecida seria utilizada para produzir o julgamento, enquanto, em contrapartida, as probabilidades prévias seriam ignoradas. Por outro lado, outras teorias dão ênfase à integração da informação como a etapa na qual se desencadeia este viés. Neste caso, toda a informação seria considerada, mas esta não seria integrada de forma Bayesiana. Ainda relevante para este debate, alguns estudos recentes têm salientado que a consideração das probabilidades prévias na presença de outra informação mais específica pode estar sujeita a diferenças individuais. De modo a obter uma comparação mais precisa do desempenho dos sistemas de IA com o desempenho humano no conjunto de problemas utilizados neste trabalho, foi conduzido um estudo no qual participantes humanos responderam a esses mesmos problemas. Na literatura, diferentes problemas têm sido desenvolvidos para estudar este viés. Neste estudo optou-se pela utilização de problemas semelhantes ao problema clássico dos Advogados e Engenheiros (Kahneman & Tversky, 1973). Este problema tipicamente apresenta as probabilidades prévias de dois grupos de indivíduos numa amostra (ex.: 70 advogados e 30 engenheiros), e uma descrição – estereotípica de um dos grupos – de um indivíduo retirado dessa amostra (ex.: Este indivíduo não demonstra interesse em questões políticas e os seus passatempos incluem carpintaria, velejar e puzzles matemáticos). Seguidamente é pedida uma estimativa da probabilidade do indivíduo descrito pertencer a um dos grupos (ex.: Qual é a probabilidade deste indivíduo ser um engenheiro?). O estudo com participantes humanos foi dividido em duas experiências. A primeira experiência incluía problemas com esta estrutura clássica. No entanto, o valor diagnóstico da descrição (que é subjetivo) não fica definido nesta estrutura, não sendo possível uma quantificação Bayesiana do desempenho. Assim, na segunda experiência foram utilizados problemas novos, propostos por Ferreira et al. (2023), nos quais o valor diagnóstico da descrição é averiguado para cada participante. Em ambas as experiências foram ainda manipulados alguns fatores que, em estudos anteriores, demonstraram influenciar a consideração das probabilidades prévias. Na experiência com problemas clássicos foram variadas a presença de conflito entre a informação apresentada e a extremidade das probabilidades prévias. Os resultados obtidos demonstraram: diferentes distribuições das respostas dos participantes entre problemas com e sem conflito; uma maior consideração das probabilidades prévias quando estas eram mais extremas; assim como um efeito da interação destes dois fatores. Na experiência com problemas novos, foi variada a ordem de apresentação da informação e a solução Bayesiana correta para os dados apresentados a cada participante. Apenas este último fator demonstrou um efeito nos resultados obtidos neste estudo. Os participantes deram respostas diferentes para cada uma das condições, demonstrando, em geral, sensibilidade à informação apresentada. No entanto, estas respostas apresentaram desvios à solução correta, sugerindo uma integração não Bayesiana da informação por parte dos participantes. Nestas duas experiências foi ainda avaliada a influência de diferenças individuais no pensamento racional nas respostas a estes problemas. Para os problemas clássicos com conflito foi encontrada uma tendência para participantes com maior disposição para o pensamento racional darem mais consideração às probabilidades prévias. Nenhuma associação foi encontrada na experiência com problemas novos. Através deste estudo com participantes humanos foi possível obter uma referência do desempenho humano para a avaliação do desempenho dos LLMs nos mesmos problemas. Os LLMs testados neste trabalho foram o ChatGPT, o Gemini e o Copilot. Foi colocada a hipótese de que os LLMs demonstrariam um melhor desempenho nos problemas clássicos relativamente aos problemas novos, visto que os primeiros já foram amplamente explorados em estudos deste viés, e, portanto, a respetiva solução é facilmente encontrada. Porém, os resultados obtidos não corroboraram esta hipótese, aproximando-se, em geral, mais do padrão oposto, o que sugere que o desempenho dos LLMs é melhor quando os problemas quantificam o valor diagnóstico da descrição, permitindo uma solução Bayesiana concreta. Relativamente às variações na presença de conflito, extremidade das probabilidades prévias, ordem da informação e solução Bayesiana, o único que, em geral, produziu diferenças consistentes nas respostas dos LLMs foi a solução Bayesiana. Os problemas foram apresentados em dois momentos distintos, primeiro em inglês, e, passado três meses, em português. Os diferentes LLMs obtiveram desempenhos distintos entre si, bem como entre os diferentes momentos de avaliação. Em termos de desempenho Bayesiano, o ChatGPT foi o modelo que de forma mais frequente e consistente gerou respostas Bayesianas. O desempenho deste modelo foi também superior ao dos participantes humanos. O Gemini e o Copilot foram menos consistentes em gerar a resposta Bayesiana. Todos os LLMs demonstraram uma evolução em termos de desempenho Bayesiano entre o primeiro e o segundo momento de avaliação. Deste modo, os resultados obtidos sugerem que a constante evolução e aperfeiçoamento destes modelos também parece estar a refletir-se na capacidade de os mesmos gerarem respostas corretas em problemas que desencadeiam a Falácia da Taxa de Base em humanos. Relativamente ao segundo objetivo deste trabalho, foi desenvolvida uma rede neuronal para prever a resposta Bayesiana com base nos dados numéricos apresentados nos problemas de Taxa de Base (probabilidades prévias e probabilidades condicionadas do valor diagnóstico da descrição). O modelo desenvolvido demonstrou um bom desempenho na fase de validação cruzada, bem como para novos exemplos gerados aleatoriamente. As previsões dadas a estes exemplos desviaram-se pouco da solução Bayesiana e resultaram em erros médios inferiores aos erros dos participantes humanos. Contudo, quando testada com um conjunto de exemplos retirados dos dados apresentados aos participantes, a rede neuronal demonstrou desvios ligeiramente maiores à solução Bayesiana. Posteriormente, esta rede neuronal foi modificada, de modo a tentar obter os padrões de resposta humanos. Para tal foram reduzidos os pesos de cada um dos dados de entrada (probabilidades prévias e probabilidades condicionadas), variando o seu impacto na resposta final. Quando reduzido o seu peso, nenhum destes dados demonstrou produzir de forma consistente o padrão de respostas mais próximo do padrão humano. Porém, de modo geral, pareceu existir, para todos os dados de entrada, uma tendência para quanto mais próximos da omissão completa na resposta final, maior a diferença entre as respostas da rede neuronal e as dos participantes humanos. Este resultado parece favorecer a perspetiva de que este viés cognitivo resulta mais de um problema de integração da informação e menos de falhas na codificação da mesma. No entanto, estes resultados devem ser considerados com prudência, devido à grande variabilidade presente nos mesmos e ao facto da rede neuronal sem modificações apresentar alguns desvios à solução Bayesiana. Em qualquer caso, apesar da necessidade de aperfeiçoamento deste modelo, a abordagem aqui utilizada parece oferecer um método promissor para a investigação da Falácia da Taxa de Base, e, possivelmente, de outros vieses cognitivos. |
| dirty | 0 |
| eu_rights_str_mv | openAccess |
| format | masterThesis |
| fulltext.url.fl_str_mv | https://repositorio.ulisboa.pt/bitstreams/1605742f-be4b-4210-937b-f17bc1571626/download |
| id | ul_b341e1eff5e628a59f87915d2cb1a75f |
| identifier.url.fl_str_mv | http://hdl.handle.net/10400.5/97097 |
| instacron_str | ul |
| institution | Universidade de Lisboa |
| instname_str | Universidade de Lisboa |
| language | eng |
| network_acronym_str | ul |
| network_name_str | Repositório da Universidade de Lisboa |
| oai_identifier_str | oai:repositorio.ulisboa.pt:10400.5/97097 |
| organization_str_mv | urn:organizationAcronym:ul |
| person_str_mv | Costa, Sofia Margarida Nogueira Santiago e |
| publishDate | 2024 |
| reponame_str | Repositório da Universidade de Lisboa |
| repository_id_str | urn:repositoryAcronym:ul |
| service_str_mv | urn:repositoryAcronym:ul |
| spelling | engpt_PTA Falácia da Taxa de Base é um viés cognitivo humano que surge tipicamente em contextos nos quais são tomadas decisões sob algum grau de incerteza. Particularmente, este viés ocorre quando não é dada consideração suficiente a informação relativa às probabilidades prévias de um evento numa população (i.e., taxas de base), em benefício de outra informação mais específica (por exemplo, informação estereotípica ou mais detalhada). Julgamentos influenciados por este fenómeno, contrariam uma regra fundamental para a atualização de probabilidades, o Teorema de Bayes. De acordo com este teorema, ambas as fontes de informação devem ser consideradas, ou seja, as probabilidades prévias devem ser integradas com a informação específica para prever o resultado do evento. Esta falácia tem sido amplamente investigada em estudos no domínio da Psicologia Cognitiva. No entanto, ainda não existe uma explicação consensual relativamente aos processos cognitivos que provocam este viés. Nesta dissertação propõe-se uma abordagem multidisciplinar, integrando o estudo deste viés com uma área que recentemente tem demonstrado grandes avanços, a Inteligência Artificial (IA). A aplicação de conhecimentos e métodos da IA na investigação deste viés poderá contribuir com novas perspetivas relativamente à sua origem. Adicionalmente, analisar a presença deste viés em sistemas de IA, permitirá uma melhor compreensão do modo como vieses humanos influenciam estes sistemas. No presente trabalho foram definidos dois objetivos para estudar esta falácia com recurso à IA. O primeiro consistiu em avaliar as respostas de modelos de IA treinados em grandes quantidades de texto – Modelos de Linguagem de Grande Escala (LLMs, de Large Language Models em inglês) – a problemas que tipicamente desencadeiam a Falácia da Taxa de Base em humanos. Através desta análise pretendia-se explorar se sistemas de IA, que possuem um alto poder computacional, demonstram o mesmo viés cognitivo observado em humanos, cujos recursos cognitivos disponíveis para responder a um determinado problema são limitados. Para complementar esta análise, delineou-se como segundo objetivo o desenvolvimento de uma rede neuronal que, através da informação numérica de problemas de Taxa de Base, previsse a respetiva solução segundo o Teorema de Bayes. Posteriormente, foram testadas diferentes modificações a esta rede neuronal, de modo a tentar simular o padrão de respostas humano. Estas modificações tinham como propósito explorar os mecanismos cognitivos subjacentes a este viés. Especificamente, investigar qual a fase do processamento cognitivo na origem deste viés. Este tem sido um dos aspetos relativamente aos quais a literatura da Falácia da Taxa de Base tem divergido. Algumas teorias apontam para um problema de seleção das fontes de informação. Isto é, na fase de codificação da informação, a evidência específica fornecida seria utilizada para produzir o julgamento, enquanto, em contrapartida, as probabilidades prévias seriam ignoradas. Por outro lado, outras teorias dão ênfase à integração da informação como a etapa na qual se desencadeia este viés. Neste caso, toda a informação seria considerada, mas esta não seria integrada de forma Bayesiana. Ainda relevante para este debate, alguns estudos recentes têm salientado que a consideração das probabilidades prévias na presença de outra informação mais específica pode estar sujeita a diferenças individuais. De modo a obter uma comparação mais precisa do desempenho dos sistemas de IA com o desempenho humano no conjunto de problemas utilizados neste trabalho, foi conduzido um estudo no qual participantes humanos responderam a esses mesmos problemas. Na literatura, diferentes problemas têm sido desenvolvidos para estudar este viés. Neste estudo optou-se pela utilização de problemas semelhantes ao problema clássico dos Advogados e Engenheiros (Kahneman & Tversky, 1973). Este problema tipicamente apresenta as probabilidades prévias de dois grupos de indivíduos numa amostra (ex.: 70 advogados e 30 engenheiros), e uma descrição – estereotípica de um dos grupos – de um indivíduo retirado dessa amostra (ex.: Este indivíduo não demonstra interesse em questões políticas e os seus passatempos incluem carpintaria, velejar e puzzles matemáticos). Seguidamente é pedida uma estimativa da probabilidade do indivíduo descrito pertencer a um dos grupos (ex.: Qual é a probabilidade deste indivíduo ser um engenheiro?). O estudo com participantes humanos foi dividido em duas experiências. A primeira experiência incluía problemas com esta estrutura clássica. No entanto, o valor diagnóstico da descrição (que é subjetivo) não fica definido nesta estrutura, não sendo possível uma quantificação Bayesiana do desempenho. Assim, na segunda experiência foram utilizados problemas novos, propostos por Ferreira et al. (2023), nos quais o valor diagnóstico da descrição é averiguado para cada participante. Em ambas as experiências foram ainda manipulados alguns fatores que, em estudos anteriores, demonstraram influenciar a consideração das probabilidades prévias. Na experiência com problemas clássicos foram variadas a presença de conflito entre a informação apresentada e a extremidade das probabilidades prévias. Os resultados obtidos demonstraram: diferentes distribuições das respostas dos participantes entre problemas com e sem conflito; uma maior consideração das probabilidades prévias quando estas eram mais extremas; assim como um efeito da interação destes dois fatores. Na experiência com problemas novos, foi variada a ordem de apresentação da informação e a solução Bayesiana correta para os dados apresentados a cada participante. Apenas este último fator demonstrou um efeito nos resultados obtidos neste estudo. Os participantes deram respostas diferentes para cada uma das condições, demonstrando, em geral, sensibilidade à informação apresentada. No entanto, estas respostas apresentaram desvios à solução correta, sugerindo uma integração não Bayesiana da informação por parte dos participantes. Nestas duas experiências foi ainda avaliada a influência de diferenças individuais no pensamento racional nas respostas a estes problemas. Para os problemas clássicos com conflito foi encontrada uma tendência para participantes com maior disposição para o pensamento racional darem mais consideração às probabilidades prévias. Nenhuma associação foi encontrada na experiência com problemas novos. Através deste estudo com participantes humanos foi possível obter uma referência do desempenho humano para a avaliação do desempenho dos LLMs nos mesmos problemas. Os LLMs testados neste trabalho foram o ChatGPT, o Gemini e o Copilot. Foi colocada a hipótese de que os LLMs demonstrariam um melhor desempenho nos problemas clássicos relativamente aos problemas novos, visto que os primeiros já foram amplamente explorados em estudos deste viés, e, portanto, a respetiva solução é facilmente encontrada. Porém, os resultados obtidos não corroboraram esta hipótese, aproximando-se, em geral, mais do padrão oposto, o que sugere que o desempenho dos LLMs é melhor quando os problemas quantificam o valor diagnóstico da descrição, permitindo uma solução Bayesiana concreta. Relativamente às variações na presença de conflito, extremidade das probabilidades prévias, ordem da informação e solução Bayesiana, o único que, em geral, produziu diferenças consistentes nas respostas dos LLMs foi a solução Bayesiana. Os problemas foram apresentados em dois momentos distintos, primeiro em inglês, e, passado três meses, em português. Os diferentes LLMs obtiveram desempenhos distintos entre si, bem como entre os diferentes momentos de avaliação. Em termos de desempenho Bayesiano, o ChatGPT foi o modelo que de forma mais frequente e consistente gerou respostas Bayesianas. O desempenho deste modelo foi também superior ao dos participantes humanos. O Gemini e o Copilot foram menos consistentes em gerar a resposta Bayesiana. Todos os LLMs demonstraram uma evolução em termos de desempenho Bayesiano entre o primeiro e o segundo momento de avaliação. Deste modo, os resultados obtidos sugerem que a constante evolução e aperfeiçoamento destes modelos também parece estar a refletir-se na capacidade de os mesmos gerarem respostas corretas em problemas que desencadeiam a Falácia da Taxa de Base em humanos. Relativamente ao segundo objetivo deste trabalho, foi desenvolvida uma rede neuronal para prever a resposta Bayesiana com base nos dados numéricos apresentados nos problemas de Taxa de Base (probabilidades prévias e probabilidades condicionadas do valor diagnóstico da descrição). O modelo desenvolvido demonstrou um bom desempenho na fase de validação cruzada, bem como para novos exemplos gerados aleatoriamente. As previsões dadas a estes exemplos desviaram-se pouco da solução Bayesiana e resultaram em erros médios inferiores aos erros dos participantes humanos. Contudo, quando testada com um conjunto de exemplos retirados dos dados apresentados aos participantes, a rede neuronal demonstrou desvios ligeiramente maiores à solução Bayesiana. Posteriormente, esta rede neuronal foi modificada, de modo a tentar obter os padrões de resposta humanos. Para tal foram reduzidos os pesos de cada um dos dados de entrada (probabilidades prévias e probabilidades condicionadas), variando o seu impacto na resposta final. Quando reduzido o seu peso, nenhum destes dados demonstrou produzir de forma consistente o padrão de respostas mais próximo do padrão humano. Porém, de modo geral, pareceu existir, para todos os dados de entrada, uma tendência para quanto mais próximos da omissão completa na resposta final, maior a diferença entre as respostas da rede neuronal e as dos participantes humanos. Este resultado parece favorecer a perspetiva de que este viés cognitivo resulta mais de um problema de integração da informação e menos de falhas na codificação da mesma. No entanto, estes resultados devem ser considerados com prudência, devido à grande variabilidade presente nos mesmos e ao facto da rede neuronal sem modificações apresentar alguns desvios à solução Bayesiana. Em qualquer caso, apesar da necessidade de aperfeiçoamento deste modelo, a abordagem aqui utilizada parece oferecer um método promissor para a investigação da Falácia da Taxa de Base, e, possivelmente, de outros vieses cognitivos.application/pdfpt_PTThe Base-Rate fallacy in Artificial Intelligence systemsCosta, Sofia Margarida Nogueira Santiago eFerreira, Mário Augusto de Carvalho BotoCorreia, Luís Miguel Parreira eHostingInstitutionOrganizationalRepositório Científico de Acesso Aberto da ULisboae-mailmailto:repositorio@reitoria.ulisboa.ptrepositorio@reitoria.ulisboa.ptURNurn:tid:2038806762025-01-11T15:09:18Z202420242024-01-01T00:00:00ZHandlehttp://hdl.handle.net/10400.5/97097http://purl.org/coar/access_right/c_abf2open accessFalácia da Taxa de BaseInteligência ArtificialModelos de Linguagem de Grande EscalaModelação Cognitiva ComputacionalTeorema de BayesTeses de mestrado - 20241411373 bytesliteraturehttp://purl.org/coar/resource_type/c_bdccmaster thesishttp://purl.org/coar/access_right/c_abf2application/pdffulltexthttps://repositorio.ulisboa.pt/bitstreams/1605742f-be4b-4210-937b-f17bc1571626/download |
| spellingShingle | The Base-Rate fallacy in Artificial Intelligence systems Costa, Sofia Margarida Nogueira Santiago e Falácia da Taxa de Base Inteligência Artificial Modelos de Linguagem de Grande Escala Modelação Cognitiva Computacional Teorema de Bayes Teses de mestrado - 2024 |
| status | SINGLETON |
| subject.fl_str_mv | Falácia da Taxa de Base Inteligência Artificial Modelos de Linguagem de Grande Escala Modelação Cognitiva Computacional Teorema de Bayes Teses de mestrado - 2024 |
| title | The Base-Rate fallacy in Artificial Intelligence systems |
| title_full | The Base-Rate fallacy in Artificial Intelligence systems |
| title_fullStr | The Base-Rate fallacy in Artificial Intelligence systems |
| title_full_unstemmed | The Base-Rate fallacy in Artificial Intelligence systems |
| title_short | The Base-Rate fallacy in Artificial Intelligence systems |
| title_sort | The Base-Rate fallacy in Artificial Intelligence systems |
| topic | Falácia da Taxa de Base Inteligência Artificial Modelos de Linguagem de Grande Escala Modelação Cognitiva Computacional Teorema de Bayes Teses de mestrado - 2024 |
| topic_facet | Falácia da Taxa de Base Inteligência Artificial Modelos de Linguagem de Grande Escala Modelação Cognitiva Computacional Teorema de Bayes Teses de mestrado - 2024 |
| url | http://hdl.handle.net/10400.5/97097 |
| visible | 1 |