623.915 (22S) Current Topics in Multimedia Systems: Video Search with Deep Learning

Sommersemester 2022

Anmeldefrist abgelaufen.

Erster Termin der LV
07.03.2022 10:00 - 12:00 S.2.69 - Bitmovin On Campus
... keine weiteren Termine bekannt

Überblick

Bedingt durch die COVID-19-Pandemie können kurzfristige Änderungen bei Lehrveranstaltungen und Prüfungen (z.B. Absage von Präsenz-Lehreveranstaltungen und Umstellung auf Online-Prüfungen) erforderlich sein.

Weitere Informationen zum Lehrbetrieb vor Ort finden Sie unter: https://www.aau.at/corona.
Lehrende/r
LV-Titel englisch Current Topics in Multimedia Systems: Video Search with Deep Learning
LV-Art Vorlesung-Kurs (prüfungsimmanente LV )
LV-Modell Präsenzlehrveranstaltung
Semesterstunde/n 2.0
ECTS-Anrechnungspunkte 4.0
Anmeldungen 5 (20 max.)
Organisationseinheit
Unterrichtssprache Englisch
mögliche Sprache/n der Leistungserbringung Deutsch , Englisch
LV-Beginn 07.03.2022
eLearning zum Moodle-Kurs

Zeit und Ort

Beachten Sie bitte, dass sich aufgrund von COVID-19-Maßnahmen die derzeit angezeigten Termine noch ändern können.
Liste der Termine wird geladen...

LV-Beschreibung

Intendierte Lernergebnisse

  • Methoden und Möglichkeiten der automatischen Inhaltsanalyse (Bilder/Videos) verstehen
  • Methoden von visuellen inhalts-basierten Suchsystemen verstehen  
  • Methoden des Machine Learnings überblicken und für die automatische Bild-/Videoanalyse einsetzen 
  • Einsatzszenarien der automatischen Inhaltsanalyse und Suche benennen und erläutern
  • Geeignete Inhaltsanalysemethoden für visuelle Daten erklären und anwenden
  • Deep Learning mit CNNs im Detail verstehen und praktisch anwenden
  • Verschiedene Deep Learning Modelle verstehen und für visuelle Analyse anwenden 
  • Geeignete Benutzerschnittstellen für die Interaktion mit visuellen Daten und deren Suche kennen
  • Die Leistung von automatischen Analyse- und Suchsystemen für visuelle Daten beurteilen können

Lehrmethodik

  • Vortrag
  • Übungen
  • Projekt

Inhalt/e

  • What is automatic image and video analysis and retrieval?
  • Practical video processing with ffmpeg
  • Computer vision with OpenCV and Python
  • Visual content descriptors and distance measures
  • Scenes, Shots, and keyframes
  • Clustering with OpenCV and Python
  • Deep Learning with visual data
  • Details of deep learning (Gradient descent, Loss, Train/Test, k-fold validation, etc.)
  • AlexNet, GoogLeNet, ResNet, EfficientNet
  • PyTorch
  • Region-based Convolutional Neural Networks (R-CNN, FCN, Fast R-CNN,  Faster R-CNN, Mask R-CNN, U-Nets, YOLO)
  • Interactive Visual Search

Intendierte Lernergebnisse

  • Understand methods and possibilities of automatic visual content analysis
  • Understand methods of visual content retrieval
  • Know machine learning methods and their use for visual content analysis 
  • Know and describe usage scenarios of automatic visual content analysis and search  
  • Explain appropriate content analysis methods for visual data and use them in practice
  • Understand deep learning with CNNs in detail and use them in practice
  • Know different kinds of deep learning models and apply them to practical problems
  • Know appropriate methods and aspects of user interfaces for visual content interaction  and apply them in practice
  • Evaluate the system performance of a visual content analysis and search systems

Lehrmethodik

  • Lecture
  • Assignments
  • Project

Inhalt/e

  • What is automatic image and video analysis and retrieval?
  • Practical video processing with ffmpeg
  • Computer vision with OpenCV and Python
  • Visual content descriptors and distance measures
  • Scenes, Shots, and keyframes
  • Clustering with OpenCV and Python
  • Deep Learning with visual data
  • Details of deep learning (Gradient descent, Loss, Train/Test, k-fold validation, etc.)
  • AlexNet, GoogLeNet, ResNet, EfficientNet
  • PyTorch
  • Region-based Convolutional Neural Networks (R-CNN, FCN, Fast R-CNN,  Faster R-CNN, Mask R-CNN, U-Nets, YOLO)
  • Interactive Visual Search

Prüfungsinformationen

Im Fall von online durchgeführten Prüfungen sind die Standards zu beachten, die die technischen Geräte der Studierenden erfüllen müssen, um an diesen Prüfungen teilnehmen zu können.

Prüfungsmethode/n

Projektarbeit.

Prüfungsinhalt/e

Inhalt aller Vorlesungsfolien sowie besprochener Übungsaufgaben.

Beurteilungskriterien/-maßstäbe

Erreichte Punkte.

Prüfungsmethode/n

Implementation project

Prüfungsinhalt/e

All topics discussed in the lecture-part as well as in assignments. 

Beurteilungskriterien/-maßstäbe

Achieved points.

Beurteilungsschema

Note Benotungsschema

Position im Curriculum

  • Masterstudium Angewandte Informatik (SKZ: 911, Version: 13W.1)
    • Fach: Distributed Multimedia Systems (Wahlfach)
      • Current Topics in Distributed Multimedia Systems: Multimedia Information Retrieval ( 2.0h VK / 4.0 ECTS)
        • 623.915 Current Topics in Multimedia Systems: Video Search with Deep Learning (2.0h VC / 4.0 ECTS)
  • Masterstudium Informatics (SKZ: 911, Version: 19W.2)
    • Fach: Multimedia Systems (Wahlfach)
      • Weitere LVen aus dem gewählten Spezialisierungsfach ( 0.0h XX / 12.0 ECTS)
        • 623.915 Current Topics in Multimedia Systems: Video Search with Deep Learning (2.0h VC / 4.0 ECTS)
          Absolvierung im 1., 2. Semester empfohlen

Gleichwertige Lehrveranstaltungen im Sinne der Prüfungsantrittszählung

Sommersemester 2024
  • 623.915 VC Image and Video Analysis with Deep Learning (2.0h / 4.0ECTS)
Sommersemester 2023
  • 623.915 VC Image and Video Analysis with Deep Learning (2.0h / 4.0ECTS)
Sommersemester 2021
  • 623.915 VC Current Topics in Multimedia Systems: Video Search with Deep Learning (2.0h / 4.0ECTS)
Sommersemester 2020
  • 623.915 VC Current Topics in Multimedia Systems: Content Search with Deep Learning (2.0h / 4.0ECTS)
Sommersemester 2019
  • 623.915 VC Current Topics in Distributed Multimedia Systems: Video Analysis & Retrieval (2.0h / 4.0ECTS)
Sommersemester 2018
  • 623.915 VC Current Topics in Distributed Multimedia Systems: Video Retrieval (2.0h / 4.0ECTS)
Wintersemester 2015/16
  • 623.915 VC Current Topics in Distributed Multimedia Systems: Video Retrieval (2.0h / 4.0ECTS)