Fuzzy logic based approach for object feature tracking

• Author(s): Lopes, Nuno Vieira
• Date: 2012
• Persistent ID: http://hdl.handle.net/10400.8/3259
• Origin: IC-online
• Subject(s): Fuzzy Logic; Object tracking; Lógica difusa
• Document Type: Doctoral thesis
• Language: English
• Advisor(s): Melo-Pinto, Pedro; Couto, Pedro M.
• Contributor(s): IC-Online

Description

This thesis introduces a novel technique for feature tracking in sequences of greyscale images based on fuzzy logic. A versatile and modular methodology for feature tracking using fuzzy sets and inference engines is presented. Moreover, an extension of this methodology to perform the correct tracking of multiple features is also presented. To perform feature tracking three membership functions are initially defined. A membership function related to the distinctive property of the feature to be tracked. A membership function is related to the fact of considering that the feature has smooth movement between each image sequence and a membership function concerns its expected future location. Applying these functions to the image pixels, the corresponding fuzzy sets are obtained and then mathematically manipulated to serve as input to an inference engine. Situations such as occlusion or detection failure of features are overcome using estimated positions calculated using a motion model and a state vector of the feature. This methodology was previously applied to track a single feature identified by the user. Several performance tests were conducted on sequences of both synthetic and real images. Experimental results are presented, analysed and discussed. Although this methodology could be applied directly to multiple feature tracking, an extension of this methodology has been developed within that purpose. In this new method, the processing sequence of each feature is dynamic and hierarchical. Dynamic because this sequence can change over time and hierarchical because features with higher priority will be processed first. Thus, the process gives preference to features whose location are easier to predict compared with features whose knowledge of their behavior is less predictable. When this priority value becomes too low, the feature will no longer tracked by the algorithm. To access the performance of this new approach, sequences of images where several features specified by the user are to be tracked were used. In the final part of this work, conclusions drawn from this work as well as the definition of some guidelines for future research are presented.

Nesta tese é introduzida uma nova técnica de seguimento de pontos característicos de objectos em sequências de imagens em escala de cinzentos baseada em lógica difusa. É apresentada uma metodologia versátil e modular para o seguimento de objectos utilizando conjuntos difusos e motores de inferência. É também apresentada uma extensão desta metodologia para o correcto seguimento de múltiplos pontos característicos. Para se realizar o seguimento são definidas inicialmente três funções de pertença. Uma função de pertença está relacionada com a propriedade distintiva do objecto que desejamos seguir, outra está relacionada com o facto de se considerar que o objecto tem uma movimentação suave entre cada imagem da sequência e outra função de pertença referente à sua previsível localização futura. Aplicando estas funções de pertença aos píxeis da imagem, obtêm-se os correspondentes conjuntos difusos, que serão manipulados matematicamente e servirão como entrada num motor de inferência. Situações como a oclusão ou falha na detecção dos pontos característicos são ultrapassadas utilizando posições estimadas calculadas a partir do modelo de movimento e a um vector de estados do objecto. Esta metodologia foi inicialmente aplicada no seguimento de um objecto assinalado pelo utilizador. Foram realizados vários testes de desempenho em sequências de imagens sintéticas e também reais. Os resultados experimentais obtidos são apresentados, analisados e discutidos. Embora esta metodologia pudesse ser aplicada directamente ao seguimento de múltiplos pontos característicos, foi desenvolvida uma extensão desta metodologia para esse fim. Nesta nova metodologia a sequência de processamento de cada ponto característico é dinâmica e hierárquica. Dinâmica por ser variável ao longo do tempo e hierárquica por existir uma hierarquia de prioridades relativamente aos pontos característicos a serem seguidos e que determina a ordem pela qual esses pontos são processados. Desta forma, o processo dá preferência a pontos característicos cuja localização é mais fácil de prever comparativamente a pontos característicos cujo conhecimento do seu comportamento seja menos previsível. Quando esse valor de prioridade se torna demasiado baixo, esse ponto característico deixa de ser seguido pelo algoritmo. Para se observar o desempenho desta nova abordagem foram utilizadas sequências de imagens onde várias características indicadas pelo utilizador são seguidas. Na parte final deste trabalho são apresentadas as conclusões resultantes a partir do desenvolvimento deste trabalho, bem como a definição de algumas linhas de investigação futura.