623.915 (24S) Image and Video Analysis with Deep Learning
Überblick
- Lehrende/r
- LV-Titel englisch Image and Video Analysis with Deep Learning
- LV-Art Vorlesung-Kurs (prüfungsimmanente LV )
- LV-Modell Präsenzlehrveranstaltung
- Semesterstunde/n 2.0
- ECTS-Anrechnungspunkte 4.0
- Anmeldungen 43 (20 max.)
- Organisationseinheit
- Unterrichtssprache Englisch
- LV-Beginn 11.03.2024
- eLearning zum Moodle-Kurs
Zeit und Ort
LV-Beschreibung
Intendierte Lernergebnisse
- Methoden und Möglichkeiten der automatischen Inhaltsanalyse (Bilder/Videos) verstehen
- Methoden von visuellen inhalts-basierten Suchsystemen verstehen
- Methoden des Machine Learnings überblicken und für die automatische Bild-/Videoanalyse einsetzen
- Einsatzszenarien der automatischen Inhaltsanalyse und Suche benennen und erläutern
- Geeignete Inhaltsanalysemethoden für visuelle Daten erklären und anwenden
- Deep Learning mit CNNs im Detail verstehen und praktisch anwenden
- Verschiedene Deep Learning Modelle verstehen und für visuelle Analyse anwenden
- Geeignete Benutzerschnittstellen für die Interaktion mit visuellen Daten und deren Suche kennen
- Die Leistung von automatischen Analyse- und Suchsystemen für visuelle Daten beurteilen können
Lehrmethodik
- Vortrag
- Übungen
- Projekt
Inhalt/e
- What is automatic image and video analysis and retrieval?
- Practical video processing with ffmpeg
- Computer vision with OpenCV and Python
- Visual content descriptors and distance measures
- Scenes, Shots, and keyframes
- Clustering with OpenCV and Python
- Deep Learning with visual data
- Details of deep learning (Gradient descent, Loss, Train/Test, k-fold validation, etc.)
- AlexNet, GoogLeNet, ResNet, EfficientNet
- PyTorch
- Region-based Convolutional Neural Networks (R-CNN, FCN, Fast R-CNN, Faster R-CNN, Mask R-CNN, U-Nets, YOLO)
- Interactive Visual Search
Curriculare Anmeldevoraussetzungen
Studierende von 289 (BA IT) und 488 (MA ICE) sollten bereits "Fundamentals of Image Processing" (700.30x) absolviert haben!
Intendierte Lernergebnisse
- Understand methods and possibilities of automatic visual content analysis
- Understand methods of visual content retrieval
- Know machine learning methods and their use for visual content analysis
- Know and describe usage scenarios of automatic visual content analysis and search
- Explain appropriate content analysis methods for visual data and use them in practice
- Understand deep learning with CNNs in detail and use them in practice
- Know different kinds of deep learning models and apply them to practical problems
- Know appropriate methods and aspects of user interfaces for visual content interaction and apply them in practice
- Evaluate the system performance of a visual content analysis and search systems
Lehrmethodik
- Lecture
- Assignments
- Project
Inhalt/e
- What is automatic image and video analysis and retrieval?
- Practical video processing with ffmpeg
- Computer vision with OpenCV and Python
- Visual content descriptors and distance measures
- Scenes, Shots, and keyframes
- Clustering with OpenCV and Python
- Deep Learning with visual data
- Details of deep learning (Gradient descent, Loss, Train/Test, k-fold validation, etc.)
- AlexNet, GoogLeNet, ResNet, EfficientNet
- PyTorch
- Region-based Convolutional Neural Networks (R-CNN, FCN, Fast R-CNN, Faster R-CNN, Mask R-CNN, U-Nets, YOLO)
- Interactive Visual Search
Curriculare Anmeldevoraussetzungen
Students of 289 (BA IT) und 488 (MA ICE) should have finished "Fundamentals of Image Processing" (700.30x)!
Prüfungsinformationen
Prüfungsmethode/n
Implementierungsprojekt.
Prüfungsinhalt/e
Inhalt aller Vorlesungsfolien und Übungsaufgaben, sowie die Projektanforderungen.
Beurteilungskriterien/-maßstäbe
Implementierungsprojekt:
- Umfang und Funktionalität (40%)
- Bedienbarkeit und Installation (20%)
- Lösungsfähigkeit von KIS, AVS, VQA Aufgaben mit DRES (40%)
Für die oben genannte Prüfungsleistung wird der folgende Umgang mit KI-basierten Anwendungen festgehalten: Der Einsatz von Werkzeugen der Künstlichen Intelligenz ist im gesamten Arbeitsprozess grundsätzlich erlaubt. Die Studierenden verpflichten sich dazu, den Einsatz von KI-Tools (z.B. bei der Codegenerierung) offenzulegen und KI-generierte Passagen entsprechend zu kennzeichnen. Die Studierenden übernehmen die alleinige Verantwortung für den produzierten Code.
Prüfungsmethode/n
Implementation project
Prüfungsinhalt/e
All topics and examples discussed in the lecture as well as the requirements of the implementation project.
Beurteilungskriterien/-maßstäbe
Implementation project:
- Scope and functionality (40%)
- Usability and installation (20%)
- Ability to solve KIS, AVS, VQA tasks with DRES (40%)
The following handling of AI-based applications is recorded for the above examination performance: The use of artificial intelligence tools is generally permitted throughout the work process. Students undertake to disclose the use of AI tools (e.g. in code generation) and to mark AI-generated passages accordingly. Students assume sole responsibility for the code produced.
Beurteilungsschema
Note BenotungsschemaPosition im Curriculum
- Masterstudium Informatics
(SKZ: 911, Version: 19W.2)
-
Fach: Multimedia Systems
(Wahlfach)
-
Weitere LVen aus dem gewählten Spezialisierungsfach (
0.0h XX / 12.0 ECTS)
- 623.915 Image and Video Analysis with Deep Learning (2.0h VC / 4.0 ECTS) Absolvierung im 1., 2. Semester empfohlen
-
Weitere LVen aus dem gewählten Spezialisierungsfach (
0.0h XX / 12.0 ECTS)
-
Fach: Multimedia Systems
(Wahlfach)
- Masterstudium Artificial Intelligence and Cybersecurity
(SKZ: 993, Version: 20W.1)
-
Fach: Specialisation in Artificial Intelligence and Cybersecurity
(Wahlfach)
-
Fachlich relevante Lehrveranstaltungen (
0.0h XX / 34.0 ECTS)
- 623.915 Image and Video Analysis with Deep Learning (2.0h VC / 4.0 ECTS) Absolvierung im 2., 3. Semester empfohlen
-
Fachlich relevante Lehrveranstaltungen (
0.0h XX / 34.0 ECTS)
-
Fach: Specialisation in Artificial Intelligence and Cybersecurity
(Wahlfach)
- Bachelorstudium Robotics and Artificial Intelligence
(SKZ: 295, Version: 22W.1)
-
Fach: Robotics & AI Applications
(Wahlfach)
-
8.1 Robotics & AI Applications (
0.0h VO, VC, UE, KS / 12.0 ECTS)
- 623.915 Image and Video Analysis with Deep Learning (2.0h VC / 4.0 ECTS)
-
8.1 Robotics & AI Applications (
0.0h VO, VC, UE, KS / 12.0 ECTS)
-
Fach: Robotics & AI Applications
(Wahlfach)
- Bachelorstudium Robotics and Artificial Intelligence
(SKZ: 295, Version: 22W.1)
-
Fach: Autonomous Systems and Networks
(Wahlfach)
-
8.3 Autonomous Systems and Networks (
0.0h VO, VC, UE, KS / 12.0 ECTS)
- 623.915 Image and Video Analysis with Deep Learning (2.0h VC / 4.0 ECTS)
-
8.3 Autonomous Systems and Networks (
0.0h VO, VC, UE, KS / 12.0 ECTS)
-
Fach: Autonomous Systems and Networks
(Wahlfach)
Gleichwertige Lehrveranstaltungen im Sinne der Prüfungsantrittszählung
-
Sommersemester 2023
- 623.915 VC Image and Video Analysis with Deep Learning (2.0h / 4.0ECTS)
-
Sommersemester 2022
- 623.915 VC Current Topics in Multimedia Systems: Video Search with Deep Learning (2.0h / 4.0ECTS)
-
Sommersemester 2021
- 623.915 VC Current Topics in Multimedia Systems: Video Search with Deep Learning (2.0h / 4.0ECTS)
-
Sommersemester 2020
- 623.915 VC Current Topics in Multimedia Systems: Content Search with Deep Learning (2.0h / 4.0ECTS)
-
Sommersemester 2019
- 623.915 VC Current Topics in Distributed Multimedia Systems: Video Analysis & Retrieval (2.0h / 4.0ECTS)
-
Sommersemester 2018
- 623.915 VC Current Topics in Distributed Multimedia Systems: Video Retrieval (2.0h / 4.0ECTS)
-
Wintersemester 2015/16
- 623.915 VC Current Topics in Distributed Multimedia Systems: Video Retrieval (2.0h / 4.0ECTS)