A strategy for interactive exploration of multimodal image collections (2014)
La producción de contenido multimedia incluyendo documentos de texto, imágenes, videos y audio, ha experimentado un crecimiento exponencial producto del desarrollo de los sistemas de computación y comunicaciones. El proceso de encontrar y acceder este gran volumen de información requiere de métodos computacionales efectivos y eficientes. En el caso de texto, una gran cantidad de trabajo se ha realizado por parte de la comunidad de recuperación de información, y gracias a ese esfuerzo, hoy contamos con motores de búsqueda de documentos de texto apropiados, los cuales nos permiten fácilmente encontrar información. Sin embargo, para el caso de otros tipos de información multimedia, como es el caso de las imágenes, los resultados no son todavía satisfactorios. Nuevos mecanismos para explorar grandes colecciones de imágenes son necesarios de tal forma que se le ofrezca al usuario diferentes alternativas para acceder y encontrar información. La exploración de colecciones de imágenes es un nuevo mecanismo para acceder grandes repositorios de imágenes de una manera más eficiente y intuitiva. Este mecanismo está siendo activamente investigado por la comunidad científica. El proceso de exploración de colecciones de imágenes se compone de los siguientes componentes: (1) Representación de la colección de imágenes; (2) Construcción de resúmenes; (3) Visualización de colecciones de imágenes; y (4) Interacción con la colección de imágenes. La mayoría de estrategias de exploración que se encuentran en la literatura usan principalmente contenido visual en cada uno de estos componentes, ignorando otras posibles fuentes de información (modalidades) tales como texto, el cual puede complementar cada uno de estos componentes de un sistema de exploración de imágenes. En esta tesis se estudia cómo conjuntamente utilizar información visual y textual con el fin de modelar de una mejor manera cada uno de los componentes de los sistemas de exploración. Para alcanzar este objetivo, se propone una familia de algoritmos que fusionan ambas modalidades de diferentes formas utilizando métodos de kernel y análisis de semántica latente.