623.915 (22S) Current Topics in Multimedia Systems: Video Search with Deep Learning
Überblick
Bedingt durch die COVID-19-Pandemie können kurzfristige Änderungen bei Lehrveranstaltungen und Prüfungen (z.B. Absage von Präsenz-Lehreveranstaltungen und Umstellung auf Online-Prüfungen) erforderlich sein.
Weitere Informationen zum Lehrbetrieb vor Ort finden Sie unter: https://www.aau.at/corona.
Weitere Informationen zum Lehrbetrieb vor Ort finden Sie unter: https://www.aau.at/corona.
- Lehrende/r
- LV-Titel englisch Current Topics in Multimedia Systems: Video Search with Deep Learning
- LV-Art Vorlesung-Kurs (prüfungsimmanente LV )
- LV-Modell Präsenzlehrveranstaltung
- Semesterstunde/n 2.0
- ECTS-Anrechnungspunkte 4.0
- Anmeldungen 5 (20 max.)
- Organisationseinheit
- Unterrichtssprache Englisch
- mögliche Sprache/n der Leistungserbringung Deutsch , Englisch
- LV-Beginn 07.03.2022
- eLearning zum Moodle-Kurs
Zeit und Ort
Beachten Sie bitte, dass sich aufgrund von COVID-19-Maßnahmen die derzeit angezeigten Termine noch ändern können.
Liste der Termine wird geladen...
LV-Beschreibung
Intendierte Lernergebnisse
- Methoden und Möglichkeiten der automatischen Inhaltsanalyse (Bilder/Videos) verstehen
- Methoden von visuellen inhalts-basierten Suchsystemen verstehen
- Methoden des Machine Learnings überblicken und für die automatische Bild-/Videoanalyse einsetzen
- Einsatzszenarien der automatischen Inhaltsanalyse und Suche benennen und erläutern
- Geeignete Inhaltsanalysemethoden für visuelle Daten erklären und anwenden
- Deep Learning mit CNNs im Detail verstehen und praktisch anwenden
- Verschiedene Deep Learning Modelle verstehen und für visuelle Analyse anwenden
- Geeignete Benutzerschnittstellen für die Interaktion mit visuellen Daten und deren Suche kennen
- Die Leistung von automatischen Analyse- und Suchsystemen für visuelle Daten beurteilen können
Lehrmethodik
- Vortrag
- Übungen
- Projekt
Inhalt/e
- What is automatic image and video analysis and retrieval?
- Practical video processing with ffmpeg
- Computer vision with OpenCV and Python
- Visual content descriptors and distance measures
- Scenes, Shots, and keyframes
- Clustering with OpenCV and Python
- Deep Learning with visual data
- Details of deep learning (Gradient descent, Loss, Train/Test, k-fold validation, etc.)
- AlexNet, GoogLeNet, ResNet, EfficientNet
- PyTorch
- Region-based Convolutional Neural Networks (R-CNN, FCN, Fast R-CNN, Faster R-CNN, Mask R-CNN, U-Nets, YOLO)
- Interactive Visual Search
Intendierte Lernergebnisse
- Understand methods and possibilities of automatic visual content analysis
- Understand methods of visual content retrieval
- Know machine learning methods and their use for visual content analysis
- Know and describe usage scenarios of automatic visual content analysis and search
- Explain appropriate content analysis methods for visual data and use them in practice
- Understand deep learning with CNNs in detail and use them in practice
- Know different kinds of deep learning models and apply them to practical problems
- Know appropriate methods and aspects of user interfaces for visual content interaction and apply them in practice
- Evaluate the system performance of a visual content analysis and search systems
Lehrmethodik
- Lecture
- Assignments
- Project
Inhalt/e
- What is automatic image and video analysis and retrieval?
- Practical video processing with ffmpeg
- Computer vision with OpenCV and Python
- Visual content descriptors and distance measures
- Scenes, Shots, and keyframes
- Clustering with OpenCV and Python
- Deep Learning with visual data
- Details of deep learning (Gradient descent, Loss, Train/Test, k-fold validation, etc.)
- AlexNet, GoogLeNet, ResNet, EfficientNet
- PyTorch
- Region-based Convolutional Neural Networks (R-CNN, FCN, Fast R-CNN, Faster R-CNN, Mask R-CNN, U-Nets, YOLO)
- Interactive Visual Search
Prüfungsinformationen
Im Fall von online durchgeführten Prüfungen sind die Standards zu beachten, die die technischen Geräte der Studierenden erfüllen müssen, um an diesen Prüfungen teilnehmen zu können.
Prüfungsmethode/n
Projektarbeit.
Prüfungsinhalt/e
Inhalt aller Vorlesungsfolien sowie besprochener Übungsaufgaben.
Beurteilungskriterien/-maßstäbe
Erreichte Punkte.
Prüfungsmethode/n
Implementation project
Prüfungsinhalt/e
All topics discussed in the lecture-part as well as in assignments.
Beurteilungskriterien/-maßstäbe
Achieved points.
Beurteilungsschema
Note BenotungsschemaPosition im Curriculum
- Masterstudium Angewandte Informatik
(SKZ: 911, Version: 13W.1)
-
Fach: Distributed Multimedia Systems
(Wahlfach)
-
Current Topics in Distributed Multimedia Systems: Multimedia Information Retrieval (
2.0h VK / 4.0 ECTS)
- 623.915 Current Topics in Multimedia Systems: Video Search with Deep Learning (2.0h VC / 4.0 ECTS)
-
Current Topics in Distributed Multimedia Systems: Multimedia Information Retrieval (
2.0h VK / 4.0 ECTS)
-
Fach: Distributed Multimedia Systems
(Wahlfach)
- Masterstudium Informatics
(SKZ: 911, Version: 19W.2)
-
Fach: Multimedia Systems
(Wahlfach)
-
Weitere LVen aus dem gewählten Spezialisierungsfach (
0.0h XX / 12.0 ECTS)
- 623.915 Current Topics in Multimedia Systems: Video Search with Deep Learning (2.0h VC / 4.0 ECTS) Absolvierung im 1., 2. Semester empfohlen
-
Weitere LVen aus dem gewählten Spezialisierungsfach (
0.0h XX / 12.0 ECTS)
-
Fach: Multimedia Systems
(Wahlfach)
Gleichwertige Lehrveranstaltungen im Sinne der Prüfungsantrittszählung
-
Sommersemester 2024
- 623.915 VC Image and Video Analysis with Deep Learning (2.0h / 4.0ECTS)
-
Sommersemester 2023
- 623.915 VC Image and Video Analysis with Deep Learning (2.0h / 4.0ECTS)
-
Sommersemester 2021
- 623.915 VC Current Topics in Multimedia Systems: Video Search with Deep Learning (2.0h / 4.0ECTS)
-
Sommersemester 2020
- 623.915 VC Current Topics in Multimedia Systems: Content Search with Deep Learning (2.0h / 4.0ECTS)
-
Sommersemester 2019
- 623.915 VC Current Topics in Distributed Multimedia Systems: Video Analysis & Retrieval (2.0h / 4.0ECTS)
-
Sommersemester 2018
- 623.915 VC Current Topics in Distributed Multimedia Systems: Video Retrieval (2.0h / 4.0ECTS)
-
Wintersemester 2015/16
- 623.915 VC Current Topics in Distributed Multimedia Systems: Video Retrieval (2.0h / 4.0ECTS)