623.915 (23S) Image and Video Analysis with Deep Learning

Sommersemester 2023

Anmeldefrist abgelaufen.

Erster Termin der LV
06.03.2023 10:00 - 12:00 S.2.69 - Bitmovin On Campus
... keine weiteren Termine bekannt

Überblick

Lehrende/r
LV-Titel englisch Image and Video Analysis with Deep Learning
LV-Art Vorlesung-Kurs (prüfungsimmanente LV )
LV-Modell Präsenzlehrveranstaltung
Semesterstunde/n 2.0
ECTS-Anrechnungspunkte 4.0
Anmeldungen 17 (20 max.)
Organisationseinheit
Unterrichtssprache Englisch
LV-Beginn 06.03.2023
eLearning zum Moodle-Kurs

Zeit und Ort

Liste der Termine wird geladen...

LV-Beschreibung

Intendierte Lernergebnisse

  • Methoden und Möglichkeiten der automatischen Inhaltsanalyse (Bilder/Videos) verstehen
  • Methoden von visuellen inhalts-basierten Suchsystemen verstehen  
  • Methoden des Machine Learnings überblicken und für die automatische Bild-/Videoanalyse einsetzen 
  • Einsatzszenarien der automatischen Inhaltsanalyse und Suche benennen und erläutern
  • Geeignete Inhaltsanalysemethoden für visuelle Daten erklären und anwenden
  • Deep Learning mit CNNs im Detail verstehen und praktisch anwenden
  • Verschiedene Deep Learning Modelle verstehen und für visuelle Analyse anwenden 
  • Geeignete Benutzerschnittstellen für die Interaktion mit visuellen Daten und deren Suche kennen
  • Die Leistung von automatischen Analyse- und Suchsystemen für visuelle Daten beurteilen können

Lehrmethodik

  • Vortrag
  • Übungen
  • Projekt

Inhalt/e

  • What is automatic image and video analysis and retrieval?
  • Practical video processing with ffmpeg
  • Computer vision with OpenCV and Python
  • Visual content descriptors and distance measures
  • Scenes, Shots, and keyframes
  • Clustering with OpenCV and Python
  • Deep Learning with visual data
  • Details of deep learning (Gradient descent, Loss, Train/Test, k-fold validation, etc.)
  • AlexNet, GoogLeNet, ResNet, EfficientNet
  • PyTorch
  • Region-based Convolutional Neural Networks (R-CNN, FCN, Fast R-CNN,  Faster R-CNN, Mask R-CNN, U-Nets, YOLO)
  • Interactive Visual Search

Curriculare Anmeldevoraussetzungen

Studierende von 289 (BA IT) und 488 (MA ICE) sollten bereits "Fundamentals of Image Processing" (700.30x) absolviert haben!

Intendierte Lernergebnisse

  • Understand methods and possibilities of automatic visual content analysis
  • Understand methods of visual content retrieval
  • Know machine learning methods and their use for visual content analysis 
  • Know and describe usage scenarios of automatic visual content analysis and search  
  • Explain appropriate content analysis methods for visual data and use them in practice
  • Understand deep learning with CNNs in detail and use them in practice
  • Know different kinds of deep learning models and apply them to practical problems
  • Know appropriate methods and aspects of user interfaces for visual content interaction  and apply them in practice
  • Evaluate the system performance of a visual content analysis and search systems

Lehrmethodik

  • Lecture
  • Assignments
  • Project

Inhalt/e

  • What is automatic image and video analysis and retrieval?
  • Practical video processing with ffmpeg
  • Computer vision with OpenCV and Python
  • Visual content descriptors and distance measures
  • Scenes, Shots, and keyframes
  • Clustering with OpenCV and Python
  • Deep Learning with visual data
  • Details of deep learning (Gradient descent, Loss, Train/Test, k-fold validation, etc.)
  • AlexNet, GoogLeNet, ResNet, EfficientNet
  • PyTorch
  • Region-based Convolutional Neural Networks (R-CNN, FCN, Fast R-CNN,  Faster R-CNN, Mask R-CNN, U-Nets, YOLO)
  • Interactive Visual Search

Curriculare Anmeldevoraussetzungen

Students of 289 (BA IT) und 488 (MA ICE) should have finished "Fundamentals of Image Processing" (700.30x)!

Prüfungsinformationen

Im Fall von online durchgeführten Prüfungen sind die Standards zu beachten, die die technischen Geräte der Studierenden erfüllen müssen, um an diesen Prüfungen teilnehmen zu können.

Prüfungsmethode/n

Projektarbeit.

Prüfungsinhalt/e

Inhalt aller Vorlesungsfolien sowie besprochener Übungsaufgaben.

Beurteilungskriterien/-maßstäbe

Erreichte Punkte.

Prüfungsmethode/n

Implementation project

Prüfungsinhalt/e

All topics discussed in the lecture-part as well as in assignments. 

Beurteilungskriterien/-maßstäbe

Achieved points.

Beurteilungsschema

Note Benotungsschema

Position im Curriculum

  • Masterstudium Angewandte Informatik (SKZ: 911, Version: 13W.1)
    • Fach: Distributed Multimedia Systems (Wahlfach)
      • Current Topics in Distributed Multimedia Systems: Multimedia Information Retrieval ( 2.0h VK / 4.0 ECTS)
        • 623.915 Image and Video Analysis with Deep Learning (2.0h VC / 4.0 ECTS)
  • Masterstudium Informatics (SKZ: 911, Version: 19W.2)
    • Fach: Multimedia Systems (Wahlfach)
      • Weitere LVen aus dem gewählten Spezialisierungsfach ( 0.0h XX / 12.0 ECTS)
        • 623.915 Image and Video Analysis with Deep Learning (2.0h VC / 4.0 ECTS)
          Absolvierung im 1., 2. Semester empfohlen
  • Masterstudium Artificial Intelligence and Cybersecurity (SKZ: 993, Version: 20W.1)
    • Fach: Specialisation in Artificial Intelligence and Cybersecurity (Wahlfach)
      • Fachlich relevante Lehrveranstaltungen ( 0.0h XX / 34.0 ECTS)
        • 623.915 Image and Video Analysis with Deep Learning (2.0h VC / 4.0 ECTS)
          Absolvierung im 2., 3. Semester empfohlen
  • Bachelorstudium Robotics and Artificial Intelligence (SKZ: 295, Version: 22W.1)
    • Fach: Robotics & AI Applications (Wahlfach)
      • 8.1 Robotics & AI Applications ( 0.0h VO, VC, UE, KS / 12.0 ECTS)
        • 623.915 Image and Video Analysis with Deep Learning (2.0h VC / 4.0 ECTS)

Gleichwertige Lehrveranstaltungen im Sinne der Prüfungsantrittszählung

Sommersemester 2024
  • 623.915 VC Image and Video Analysis with Deep Learning (2.0h / 4.0ECTS)
Sommersemester 2022
  • 623.915 VC Current Topics in Multimedia Systems: Video Search with Deep Learning (2.0h / 4.0ECTS)
Sommersemester 2021
  • 623.915 VC Current Topics in Multimedia Systems: Video Search with Deep Learning (2.0h / 4.0ECTS)
Sommersemester 2020
  • 623.915 VC Current Topics in Multimedia Systems: Content Search with Deep Learning (2.0h / 4.0ECTS)
Sommersemester 2019
  • 623.915 VC Current Topics in Distributed Multimedia Systems: Video Analysis & Retrieval (2.0h / 4.0ECTS)
Sommersemester 2018
  • 623.915 VC Current Topics in Distributed Multimedia Systems: Video Retrieval (2.0h / 4.0ECTS)
Wintersemester 2015/16
  • 623.915 VC Current Topics in Distributed Multimedia Systems: Video Retrieval (2.0h / 4.0ECTS)