표정은 대화에 가장 효과적이고 풍부한 비언어적 의사 소통 방법 중 하나이다. 이러한 표정은 인간의 컴퓨터 상호 작용에서 중요한 관심을 받았고, 표정의 자동 분석 및 인식은 컴퓨터 비전에서 중요한 연구 주제가 되었다.
인간의 얼굴 표정을 인식하기 위한 많은 알고리즘이 개발되었지만, 그 성능은 소수의 감정적인 표정 클래스로 제한되었다. 대조적으로, 대화형 얼굴 표정은 일상 생활 속 대화에서 사용될 수 있는 큰 표정 집합을 포함한다. 이 가운데에는 "동의 함", "생각 후 동의함", "계속 동의 함", "마지 못해 동의 함", "동의하지 않음", " 생각 후 동의하지 않음"등과 같이 사람의 의견에 의사를 표현하는 표정들이 많이 있다. 이러한 매우 유사한 표정을 이해하고 식별하는 것은 대화에서 올바르게 반응하는 데 중요하지만 시각적 유사성으로 인해 이러한 대화형 표정이나 다른 표정들을 식별하는 것은 어려운 문제이다.
본 논문에서는 표정 시퀀스 간에 유사성을 측정하는 방법을 제안하고 이에 기반한 시간적 군집화를 통하여 부-표정 정보를 추출하는 방법을 제안한다. 기존에 레이블 상태와 은닉 상태의 조합으로 부-표정의 상태 전이를 추정하는 대신 추출된 부-표정 정보를 계층적으로 구성된 CRF에 이용하는 방법을 제안한다.
제안된 방법은 기존 방법보다 학습 시간이 훨씬 적게 소요되며 대화형 얼굴표정 데이터베이스인 MPI, KU 데이터베이스에서 높은 성능을 보여줌을 확인하였다.
Facial expression is one of the most efficient and abundant non-verbal communication ways to a conversation. As such facial expression has received significant attention in human-computer interaction, and automatic analysis and recognition of facial expression have become an important research topic in computer vision.
While many algorithms for recognizing human facial expressions have been developed, their performance is limited to a small number of expression classes.
In contrast, conversational facial expressions include a large set of facial expressions that can be used in daily conversation. Among these, there are many expressions signalling agreement or disagreement with a person's opinion, such as "agree", "considered agree", "agree to continue", "agree reluctantly", as well as "disagree", "considered disagree", "disagree reluctantly". Understanding and parsing these highly similar facial expressions is necessary for correctly reacting in a conversation. Due to their visual similarity, however, classification of these and other conversational expressions is challenging.
In this paper, we propose a method to measure the similarity between conversational facial expressions and extract sub-expressions through temporal clustering.
And we propose a method to use the obtained sub-expression information in hierarchically structured CRF instead of estimating the hidden changes using a combination of label states and hidden states.
The proposed method has much less learning time than the conventional method and shows high perfor- mance in both MPI and KU databases.
