Publicação

Avaliação no HAREM: métodos e medidas

Ver documento

Detalhes bibliográficos
Resumo:Neste relatório técnico apresentam-se os critérios usados na avaliação dos sistemas participantes do HAREM, a primeira avaliação conjunta de sistemas de reconhecimento de entidades mencionadas (REM) em português, organizada pela Linguateca. Por outras palavras, descreve as pontuações, medidas e métricas usadas para aferir as saídas geradas pelos sistemas de REM dos participantes, além de descrever os diversos relatórios de apresentação de resultados. A avaliação é feita comparando uma dada colecção de textos etiquetada pelos sistemas, com essa mesma colecção de textos etiquetada manualmente, a denominada colecção dourada. Este relatório, além de apresentar detalhadamente as fórmulas usadas, ilustra o funcionamento da avaliação e o cálculo das medidas com vários exemplos. Este texto pretende assim ser a referência definitiva em relação à teoria de avaliação empregue no HAREM, permitindo esclarecer os variados resultados tornados acessíveis durante o primeiro evento de avaliação do HAREM, assim como fixando a terminologia usada nesta avaliação conjunta. Um texto complementar [16] indica como é que a implementação das diversas questões foi levada a cabo
Autores principais:Santos, Diana
Outros Autores:Cardoso, Nuno; Seco, Nuno
Assunto:avaliação processamento computacional do português processamento de linguagem natural, extracção de informação português avaliação conjunta reco
Ano:2006
País:Portugal
Tipo de documento:relatório
Tipo de acesso:acesso aberto
Instituição associada:Universidade de Lisboa
Idioma:português
Origem:Repositório da Universidade de Lisboa

Registos relacionados

Registos relacionados