Automatic detection of human attraction using non-intrusive multimodal signals and machine learning

Abstract

El procesamiento de señales sociales se ha desarrollado ampliamente en los últimos años, permitiendo el surgimiento de nuevas áreas de investigación, entre ellas, la predicción de atracción humana, donde se busca desarrollar sistemas computacionales que permitan un mejor entendimiento de la dinámica de la atracción. En esta tesis de investigación se plantea una metodología de aprendizaje de máquina multimodal que utiliza la sincronía de movimiento interpersonal para extraer patrones de comportamiento, que permitan predecir automáticamente la atracción humana en eventos de citas rápidas, ayudando a una mejor comprensión de esta. Se propone implementar un descriptor de movimiento para una de las modalidades (Video), una etapa de extracción de características de sincronía, un modelo de representación multimodal y un clasificador para la predicción. La evaluación de la metodología se hará comparando, mediante una prueba de hipótesis (Wilcoxon), el rendimiento del clasificador contra los resultado de estudios unimodales del estado del arte.

The Social Signal Processing (SSP) has expanded widely in recent years, allowing the emergence of new areas of research, including the prediction of human attraction. The goal is to develop computational systems that give a better understanding of the dynamics of human attraction. In this research, a multimodal machine learning methodology is proposed, using interpersonal movement synchronization to extract behavior patterns, which automatically predict human attraction in speed dating events, helping to better understand it. We propose to implement a motion descriptor for one of the modalities (Video), a motion synchrony feature extraction stage, a multimodal representation model and a classifier for prediction. The evaluation of the methodology will be done by comparing, through a hypothesis test (Wilcoxon), the classifier performance against the results of unimodal research in the state-of-the-art.