Author(s): Santos, Diana ; Cardoso, Nuno ; Seco, Nuno
Date: 2006
Persistent ID: http://hdl.handle.net/10451/14250
Origin: Repositório da Universidade de Lisboa
Subject(s): avaliação; processamento computacional do português; processamento de linguagem natural, extracção de informação; português; avaliação conjunta; reco
Neste relatório técnico apresentam-se os critérios usados na avaliação dos sistemas participantes do HAREM, a primeira avaliação conjunta de sistemas de reconhecimento de entidades mencionadas (REM) em português, organizada pela Linguateca. Por outras palavras, descreve as pontuações, medidas e métricas usadas para aferir as saídas geradas pelos sistemas de REM dos participantes, além de descrever os diversos relatórios de apresentação de resultados. A avaliação é feita comparando uma dada colecção de textos etiquetada pelos sistemas, com essa mesma colecção de textos etiquetada manualmente, a denominada colecção dourada. Este relatório, além de apresentar detalhadamente as fórmulas usadas, ilustra o funcionamento da avaliação e o cálculo das medidas com vários exemplos. Este texto pretende assim ser a referência definitiva em relação à teoria de avaliação empregue no HAREM, permitindo esclarecer os variados resultados tornados acessíveis durante o primeiro evento de avaliação do HAREM, assim como fixando a terminologia usada nesta avaliação conjunta. Um texto complementar [16] indica como é que a implementação das diversas questões foi levada a cabo
