623.915 (24S) Image and Video Analysis with Deep Learning

Sommersemester 2024

Anmeldefrist abgelaufen.

Erster Termin der LV
11.03.2024 08:15 - 09:45 N.1.43 On Campus
Nächster Termin:
29.04.2024 08:15 - 09:45 N.1.43 On Campus

Überblick

Lehrende/r
LV-Titel englisch Image and Video Analysis with Deep Learning
LV-Art Vorlesung-Kurs (prüfungsimmanente LV )
LV-Modell Präsenzlehrveranstaltung
Semesterstunde/n 2.0
ECTS-Anrechnungspunkte 4.0
Anmeldungen 43 (20 max.)
Organisationseinheit
Unterrichtssprache Englisch
LV-Beginn 11.03.2024
eLearning zum Moodle-Kurs

Zeit und Ort

Liste der Termine wird geladen...

LV-Beschreibung

Intendierte Lernergebnisse

  • Methoden und Möglichkeiten der automatischen Inhaltsanalyse (Bilder/Videos) verstehen
  • Methoden von visuellen inhalts-basierten Suchsystemen verstehen  
  • Methoden des Machine Learnings überblicken und für die automatische Bild-/Videoanalyse einsetzen 
  • Einsatzszenarien der automatischen Inhaltsanalyse und Suche benennen und erläutern
  • Geeignete Inhaltsanalysemethoden für visuelle Daten erklären und anwenden
  • Deep Learning mit CNNs im Detail verstehen und praktisch anwenden
  • Verschiedene Deep Learning Modelle verstehen und für visuelle Analyse anwenden 
  • Geeignete Benutzerschnittstellen für die Interaktion mit visuellen Daten und deren Suche kennen
  • Die Leistung von automatischen Analyse- und Suchsystemen für visuelle Daten beurteilen können

Lehrmethodik

  • Vortrag
  • Übungen
  • Projekt

Inhalt/e

  • What is automatic image and video analysis and retrieval?
  • Practical video processing with ffmpeg
  • Computer vision with OpenCV and Python
  • Visual content descriptors and distance measures
  • Scenes, Shots, and keyframes
  • Clustering with OpenCV and Python
  • Deep Learning with visual data
  • Details of deep learning (Gradient descent, Loss, Train/Test, k-fold validation, etc.)
  • AlexNet, GoogLeNet, ResNet, EfficientNet
  • PyTorch
  • Region-based Convolutional Neural Networks (R-CNN, FCN, Fast R-CNN,  Faster R-CNN, Mask R-CNN, U-Nets, YOLO)
  • Interactive Visual Search

Curriculare Anmeldevoraussetzungen

Studierende von 289 (BA IT) und 488 (MA ICE) sollten bereits "Fundamentals of Image Processing" (700.30x) absolviert haben!

Intendierte Lernergebnisse

  • Understand methods and possibilities of automatic visual content analysis
  • Understand methods of visual content retrieval
  • Know machine learning methods and their use for visual content analysis 
  • Know and describe usage scenarios of automatic visual content analysis and search  
  • Explain appropriate content analysis methods for visual data and use them in practice
  • Understand deep learning with CNNs in detail and use them in practice
  • Know different kinds of deep learning models and apply them to practical problems
  • Know appropriate methods and aspects of user interfaces for visual content interaction  and apply them in practice
  • Evaluate the system performance of a visual content analysis and search systems

Lehrmethodik

  • Lecture
  • Assignments
  • Project

Inhalt/e

  • What is automatic image and video analysis and retrieval?
  • Practical video processing with ffmpeg
  • Computer vision with OpenCV and Python
  • Visual content descriptors and distance measures
  • Scenes, Shots, and keyframes
  • Clustering with OpenCV and Python
  • Deep Learning with visual data
  • Details of deep learning (Gradient descent, Loss, Train/Test, k-fold validation, etc.)
  • AlexNet, GoogLeNet, ResNet, EfficientNet
  • PyTorch
  • Region-based Convolutional Neural Networks (R-CNN, FCN, Fast R-CNN,  Faster R-CNN, Mask R-CNN, U-Nets, YOLO)
  • Interactive Visual Search

Curriculare Anmeldevoraussetzungen

Students of 289 (BA IT) und 488 (MA ICE) should have finished "Fundamentals of Image Processing" (700.30x)!

Prüfungsinformationen

Im Fall von online durchgeführten Prüfungen sind die Standards zu beachten, die die technischen Geräte der Studierenden erfüllen müssen, um an diesen Prüfungen teilnehmen zu können.

Prüfungsmethode/n

Implementierungsprojekt.

Prüfungsinhalt/e

Inhalt aller Vorlesungsfolien und Übungsaufgaben, sowie die Projektanforderungen.

Beurteilungskriterien/-maßstäbe

Implementierungsprojekt:

  • Umfang und Funktionalität (40%)
  • Bedienbarkeit und Installation (20%)
  • Lösungsfähigkeit von KIS, AVS, VQA Aufgaben mit DRES (40%)  

Für die oben genannte Prüfungsleistung wird der folgende Umgang mit KI-basierten Anwendungen festgehalten:  Der Einsatz von Werkzeugen der Künstlichen Intelligenz ist im gesamten Arbeitsprozess grundsätzlich erlaubt. Die Studierenden verpflichten sich dazu, den Einsatz von KI-Tools (z.B. bei der Codegenerierung) offenzulegen und KI-generierte Passagen entsprechend zu kennzeichnen. Die Studierenden übernehmen die alleinige Verantwortung für den produzierten Code.

Prüfungsmethode/n

Implementation project

Prüfungsinhalt/e

All topics and examples discussed in the lecture as well as the requirements of the implementation project. 

Beurteilungskriterien/-maßstäbe

Implementation project:

  • Scope and functionality (40%)
  • Usability and installation (20%)
  • Ability to solve KIS, AVS, VQA tasks with DRES (40%)  

The following handling of AI-based applications is recorded for the above examination performance:  The use of artificial intelligence tools is generally permitted throughout the work process. Students undertake to disclose the use of AI tools (e.g. in code generation) and to mark AI-generated passages accordingly. Students assume sole responsibility for the code produced.

Beurteilungsschema

Note Benotungsschema

Position im Curriculum

  • Masterstudium Informatics (SKZ: 911, Version: 19W.2)
    • Fach: Multimedia Systems (Wahlfach)
      • Weitere LVen aus dem gewählten Spezialisierungsfach ( 0.0h XX / 12.0 ECTS)
        • 623.915 Image and Video Analysis with Deep Learning (2.0h VC / 4.0 ECTS)
          Absolvierung im 1., 2. Semester empfohlen
  • Masterstudium Artificial Intelligence and Cybersecurity (SKZ: 993, Version: 20W.1)
    • Fach: Specialisation in Artificial Intelligence and Cybersecurity (Wahlfach)
      • Fachlich relevante Lehrveranstaltungen ( 0.0h XX / 34.0 ECTS)
        • 623.915 Image and Video Analysis with Deep Learning (2.0h VC / 4.0 ECTS)
          Absolvierung im 2., 3. Semester empfohlen
  • Bachelorstudium Robotics and Artificial Intelligence (SKZ: 295, Version: 22W.1)
    • Fach: Robotics & AI Applications (Wahlfach)
      • 8.1 Robotics & AI Applications ( 0.0h VO, VC, UE, KS / 12.0 ECTS)
        • 623.915 Image and Video Analysis with Deep Learning (2.0h VC / 4.0 ECTS)
  • Bachelorstudium Robotics and Artificial Intelligence (SKZ: 295, Version: 22W.1)
    • Fach: Autonomous Systems and Networks (Wahlfach)
      • 8.3 Autonomous Systems and Networks ( 0.0h VO, VC, UE, KS / 12.0 ECTS)
        • 623.915 Image and Video Analysis with Deep Learning (2.0h VC / 4.0 ECTS)

Gleichwertige Lehrveranstaltungen im Sinne der Prüfungsantrittszählung

Sommersemester 2023
  • 623.915 VC Image and Video Analysis with Deep Learning (2.0h / 4.0ECTS)
Sommersemester 2022
  • 623.915 VC Current Topics in Multimedia Systems: Video Search with Deep Learning (2.0h / 4.0ECTS)
Sommersemester 2021
  • 623.915 VC Current Topics in Multimedia Systems: Video Search with Deep Learning (2.0h / 4.0ECTS)
Sommersemester 2020
  • 623.915 VC Current Topics in Multimedia Systems: Content Search with Deep Learning (2.0h / 4.0ECTS)
Sommersemester 2019
  • 623.915 VC Current Topics in Distributed Multimedia Systems: Video Analysis & Retrieval (2.0h / 4.0ECTS)
Sommersemester 2018
  • 623.915 VC Current Topics in Distributed Multimedia Systems: Video Retrieval (2.0h / 4.0ECTS)
Wintersemester 2015/16
  • 623.915 VC Current Topics in Distributed Multimedia Systems: Video Retrieval (2.0h / 4.0ECTS)