Publicação
Avaliação no HAREM: métodos e medidas
| Resumo: | Neste relatório técnico apresentam-se os critérios usados na avaliação dos sistemas participantes do HAREM, a primeira avaliação conjunta de sistemas de reconhecimento de entidades mencionadas (REM) em português, organizada pela Linguateca. Por outras palavras, descreve as pontuações, medidas e métricas usadas para aferir as saídas geradas pelos sistemas de REM dos participantes, além de descrever os diversos relatórios de apresentação de resultados. A avaliação é feita comparando uma dada colecção de textos etiquetada pelos sistemas, com essa mesma colecção de textos etiquetada manualmente, a denominada colecção dourada. Este relatório, além de apresentar detalhadamente as fórmulas usadas, ilustra o funcionamento da avaliação e o cálculo das medidas com vários exemplos. Este texto pretende assim ser a referência definitiva em relação à teoria de avaliação empregue no HAREM, permitindo esclarecer os variados resultados tornados acessíveis durante o primeiro evento de avaliação do HAREM, assim como fixando a terminologia usada nesta avaliação conjunta. Um texto complementar [16] indica como é que a implementação das diversas questões foi levada a cabo |
|---|---|
| Autores principais: | Santos, Diana |
| Outros Autores: | Cardoso, Nuno; Seco, Nuno |
| Assunto: | avaliação processamento computacional do português processamento de linguagem natural, extracção de informação português avaliação conjunta reco |
| Ano: | 2006 |
| País: | Portugal |
| Tipo de documento: | relatório |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Universidade de Lisboa |
| Idioma: | português |
| Origem: | Repositório da Universidade de Lisboa |
| Resumo: | Neste relatório técnico apresentam-se os critérios usados na avaliação dos sistemas participantes do HAREM, a primeira avaliação conjunta de sistemas de reconhecimento de entidades mencionadas (REM) em português, organizada pela Linguateca. Por outras palavras, descreve as pontuações, medidas e métricas usadas para aferir as saídas geradas pelos sistemas de REM dos participantes, além de descrever os diversos relatórios de apresentação de resultados. A avaliação é feita comparando uma dada colecção de textos etiquetada pelos sistemas, com essa mesma colecção de textos etiquetada manualmente, a denominada colecção dourada. Este relatório, além de apresentar detalhadamente as fórmulas usadas, ilustra o funcionamento da avaliação e o cálculo das medidas com vários exemplos. Este texto pretende assim ser a referência definitiva em relação à teoria de avaliação empregue no HAREM, permitindo esclarecer os variados resultados tornados acessíveis durante o primeiro evento de avaliação do HAREM, assim como fixando a terminologia usada nesta avaliação conjunta. Um texto complementar [16] indica como é que a implementação das diversas questões foi levada a cabo |
|---|