OFCM – Matrizes de Co-ocorrência de Fluxo Óptico

Donwload:

Código-fonte do descritor de características espaço-temporais proposto no trabalho Matrizes de Co-ocorrência de Fluxo Óptico: Um Novo Descritor de Característica Espaço-Temporal (ICPR 2016). Com o objetivo de capturar mais informações a partir do fluxo óptico, este trabalho propõe um novo descritor de características espaço-temporal denominado Matriz de Co-ocorrência de Fluxo Óptico (OFCM). O método é baseado na extração de características de Haralick de matrizes de co-ocorrência calculadas usando a informação de fluxo ótico.

Nossa hipótese para projetar o OFCM é baseada na suposição de que as informações de movimento em uma sequência de vídeo podem ser descritas pelo relacionamento espacial contido nas vizinhanças locais do campo de fluxo. Mais especificamente, assumimos que a informação de movimento é adequadamente especificada por um conjunto de matrizes de co-ocorrência de magnitude e orientação calculadas para várias relações angulares em um determinado deslocamento entre pares de vetores vizinhos no fluxo ótico. Portanto, as matrizes obtidas através da modificação da relação espacial (diferentes ângulos ou distâncias entre as magnitudes e orientações dos pixels vizinhos a partir dos quais o fluxo óptico foi extraído) fornecerão informações diferentes.

Para demonstrar a eficácia do OFCM, nós o avaliamos na tarefa de reconhecimento de ação, um problema desafiador que tem atraído a atenção da comunidade acadêmica há vários anos devido às suas aplicações práticas. Por exemplo, ele pode ser empregado em aplicações como sistemas de vigilância para detectar e prevenir atividades anormais ou suspeitas e em sistemas de saúde para monitorar pacientes que realizam atividades da vida diária. Embora avaliemos nosso método na tarefa de reconhecimento de ações, é importante ressaltar que, como o OFCM é um descritor de características espaço-temporais, ele também pode ser aplicado a outras aplicações de visão computacional envolvendo descrição de vídeo. De acordo com os resultados experimentais, o recurso proposto agregado usando um pipeline padrão de reconhecimento visual (Bag-of-Words seguido pelo classificador SVM) é capaz de reconhecer ações com precisão em três conjuntos de dados bem conhecidos: KTH, UCF Sports e HMDB51. O emprego do OFCM supera os resultados alcançados por vários descritores espaço-temporais amplamente utilizados disponíveis na literatura.

Contact: Carlos Caetano (carlos.caetano@dcc.ufmg.br)

Resultados

Uma melhoria considerável foi obtida com o OFCM, alcançando 96,30% de precisão no conjunto de dados KTH e 92,80% no dataset da UCF Sports. Há uma melhoria de 2,10 pontos percentuais (p.p.) no dataset KTH e 3,80 p.p. no dataset da UCF Sports alcançada pelo OFCM quando comparado a Wang et al. Método de Trajetórias Densas (DT).

Para os experimentos no dataset HMDB51, usamos os parâmetros aprendidos com o dataset KTH, pois, de acordo com a literatura, ele se mostrou universal o suficiente para obter resultados precisos. Para este dataset, o OFCM também alcança os melhores resultados, alcançando 56,91% de precisão, uma melhoria de 5,41 p.p. quando comparado ao descritor de características do MBH [10].

ACTION RECOGNITION ACCURACY (%) RESULTS OF OFCM AND CLASSIC SPATIOTEMPORAL FEATURES OF THE LITERATURE ON KTH, UCF SPORTS AND HMDB51 ACTION DATASETS.
PRECISÃO DO RECONHECIMENTO DE AÇÃO (%) RESULTADOS DO OFCM E CARACTERÍSTICAS ESPORTIVAS CLÁSSICAS DA LITERATURA EM DATASETS DE KTH, UCF SPORTS E HMDB51.

Referências

Você deve citar o seguinte artigo se usar este software em seu trabalho.

Carlos Antonio Caetano Junior; Jefersson A dos Santos; William Robson Schwartz: Optical Flow Co-occurrence Matrices: A Novel Spatiotemporal Feature Descriptor. Em: IAPR International Conference on Pattern Recognition (ICPR), pp. 1-6, 2016. (Tipo: Inproceedings | Links | BibTeX)

Donwload: