[Conjunto de datos de parches de partes] [Visualización de detectores de partes] [paper] [slides].
Resumen
La detección de personas sigue siendo un problema popular y desafiante en visión por ordenador. En este artículo, analizamos modelos basados en partes para la detección de personas con el fin de determinar qué componentes de su pipeline podrían beneficiarse más si se mejorasen. Llevamos a cabo esta tarea estudiando numerosos detectores formados a partir de combinaciones de componentes realizados por sujetos humanos y máquinas. El modelo basado en partes que estudiamos puede dividirse a grandes rasgos en cuatro componentes: detección de características, detección de partes, puntuación espacial de partes y razonamiento contextual, incluida la supresión no máxima. Nuestros experimentos concluyen que la detección de partes es el eslabón más débil para los conjuntos de datos de detección de personas más difíciles. La supresión no máxima y el contexto también pueden mejorar significativamente el rendimiento. Sin embargo, el uso de modelos espaciales humanos o automáticos no afecta de forma significativa o consistente a la precisión de la detección.
Motivación
La detección de personas es un problema importante, pero abierto y desafiante en visión por computador. Recientemente, los detectores de personas han hecho progresos significativos utilizando modelos basados en partes. Los investigadores han explorado diversas representaciones de características de las imágenes, diferentes modelos de apariencia para las partes, sofisticados modelos espaciales de las configuraciones de los objetos, así como expresivos modelos de supresión no máxima y de contexto. Cada uno de estos enfoques propone un complejo conjunto de componentes interdependientes para proporcionar resultados finales de detección. Aunque la complejidad adicional de los enfoques ha permitido aumentar el rendimiento, resulta difícil comprender el papel de cada componente en la precisión final de la detección.
Propuesta
Proponemos un análisis exhaustivo de los modelos basados en partes para comprender qué componentes del proceso podrían beneficiarse más si se mejorasen. Para ello, utilizamos sujetos humanos para que realicen los componentes individuales que antes realizaba el algoritmo automático. Por ejemplo, en lugar de utilizar un clasificador automático como un SVM latente entrenado en descriptores HoG para detectar partes de objetos, utilizamos sujetos humanos para etiquetar si un pequeño fragmento de imagen contiene la cabeza, los pies, el torso, etc. de un ser humano. A continuación se muestran ilustraciones de las distintas tareas realizadas por sujetos humanos:
Experimentos y resultados
Evaluamos la precisión de detección de varios detectores (véase más abajo) compuestos por diversas combinaciones de los componentes realizados por sujetos humanos o implementaciones de máquinas.
Las comparaciones entre varios subconjuntos de estos detectores nos permiten separar la influencia de cada uno de los componentes en el proceso de detección de personas por partes. Aunque le animamos a que eche un vistazo a las comparaciones detalladas en el artículo, a continuación puede ver un resumen de los resultados obtenidos en los conjuntos de datos PASCAL 2007 e INRIA. Comprobamos que la detección de partes es el eslabón más débil en la detección de personas basada en partes. La supresión no máxima también influye en el rendimiento de forma no trivial. Sin embargo, el uso de modelos espaciales humanos o automáticos no afecta significativamente a la precisión de la detección.
Entre la gran cantidad de datos humanos que recogimos como parte de nuestros experimentos, creemos que los siguientes pueden ser de interés para la comunidad.
Pedimos a sujetos humanos que clasificaran parches de imágenes superpuestas en una de las ocho categorías siguientes: cabeza, torso, brazo, mano, pierna, pie, otra-parte-de-la-persona, no-una-persona. Los parches se extrajeron de 50 imágenes de INRIA y 100 de PASCAL (2007), y se mostraron de forma aislada y aleatoria para que los sujetos no dispusieran de información contextual de la imagen. Extrajimos los parches tanto de la versión original de alta resolución como de una versión de baja resolución de las imágenes. Antes de extraer los parches, las imágenes de alta y baja resolución se transformaron en una de las siguientes representaciones: color (regular), escala de grises y gradiente normalizado. El resultado fue un total de 45.316 x 6 = 271.896 parches. 10 sujetos humanos clasificaron cada parche en una de las 8 categorías de Amazon's Mechanical Turk.
A continuación puede verse una instantánea de los datos, que muestra parches de ejemplo clasificados por la mayoría de los sujetos como cabeza, torso, pierna y ninguno.
Del mismo modo, 10 sujetos humanos clasificaron subventanas de imágenes superpuestas (un total de 6.218 x 6 = 37.308 ventanas) como si contuvieran una persona o no (similar a la detección de "raíces"). Como en el caso de las partes, las subventanas se extrajeron de imágenes de alta y baja resolución en color, escala de grises y gradiente normalizado.
Proporcionamos estos datos de clasificación de partes (parches) y raíces (ventanas) como el conjunto de datos Part Patch.
** Descargar ** Part Patch Dataset [89.3 MB] (en inglés)
Visualizaciones
Un subconjunto de nuestros estudios en humanos requería que los sujetos humanos detectaran personas utilizando un conjunto de partes precalculadas. Las partes pueden ser detectadas por otras personas o por una máquina. Para garantizar que los sujetos humanos no utilicen ninguna información previa distinta de las partes detectadas, creamos visualizaciones que muestran las detecciones de las partes, pero ninguna otra información en la imagen. A continuación se muestra un ejemplo de visualización.
** Navegar ** Las visualizaciones de algunas imágenes utilizando las partes detectadas por humanos y por máquinas se pueden ver aquí: INRIA_50 PASCAL2007_100. Las seis primeras columnas muestran las partes detectadas por humanos (en imágenes de alta resolución regulares, en escala de grises, con gradiente normalizado, de baja resolución regulares, en escala de grises y con gradiente normalizado), y la última columna muestra las partes detectadas por máquinas en imágenes de alta resolución utilizando los detectores de Felzenszwalb et al. 2010. Para las partes detectadas en humanos, los colores corresponden a las distintas partes de una persona (rojo: cabeza, verde: torso, azul: brazo, amarillo: mano, magenta: pierna, cian: pies, blanco: raíz (persona), negro: ninguna). Cada parche se muestra con un color correspondiente a la categoría que recibió más votos en los 10 sujetos. La intensidad del color corresponde al número de sujetos que seleccionaron la clase. Para las partes detectadas por la máquina, los seis colores se asignan arbitrariamente a seis partes, y la intensidad del color corresponde a la puntuación de la detección de la parte.
Publicación
Cómo encontrar el eslabón más débil en los detectores de personas
Conferencia IEEE sobre visión por ordenador y reconocimiento de patrones (CVPR), 2011
[póster] [diapositivas]
Soporte
Este material se basa en trabajos financiados en parte por la National Science Foundation con la subvención n.º 1115719. Las opiniones, resultados y conclusiones o recomendaciones expresadas en este material pertenecen a su(s) autor(es) y no reflejan necesariamente los puntos de vista de la National Science Foundation.
Original article: faculty.cc.gatech.edu/~parikh/person_detection.html
