Multimedia Retrieval (Vorlesung & Übung)

Lernziele

Die automatische Analyse und Indexierung (Erschließung) von Mediendaten ist eine Voraussetzung für eine effektive Suche in multimedialen Datenbeständen. Zu den Lernzielen der Vorlesung gehört, die zur Analyse von Bild-, Ton- und Videodaten notwendigen Methoden (Schwerpunkt: visuelle Daten) zu verstehen und die Vor- und Nachteile bewerten zu können. Weiterhin lernen die Studierenden verschiedene Gütemaße zur Bewertung solcher Verfahren, Methoden zur Visualisierung und Exploration von Medienbeständen, sowie den Aufbau von multimedialen Suchmaschinen kennen und verstehen jeweils deren Grundprinzipien. Schließlich erhalten die Studierenden einen Einblick, wie Analyseverfahren - auf Basis von Softwarebibliotheken - umgesetzt werden können.

Vorkenntnisse

Empfohlen: Foundations of Information Retrieval, Computer Vision oder Bildverarbeitung, Mustererkennung

Stoffumfang

In der Veranstaltung werden folgende Themen behandelt: 1. Einleitung, Aufbau von Suchmaschinen für Mediendaten; 2. Semantische Bild-, Ton- und Videoanalyse, Erkennung von Objekten, Szenen und Ereignissen („Konzeptdetektion“); 3. Gesichtsdetektion und Personenerkennung in Bildern; 4. Multimodale Personenerkennung in Videos; 5. Zeitliche Videosegmentierung („Schnitterkennung“); 6. Texterkennung in Bildern & Video OCR; 7. Ähnlichkeitssuche; 8. Erkennung von Kamerabewegung; 9. Visualisierungen zur Exploration von Mediendaten.

Dozent

Prof. Dr. Ralph Ewerth