700.660 (25S) Information Theory and its Application to Communications Engineering

Sommersemester 2025

Ende der Anmeldefrist
07.03.2025 23:59

Erster Termin der LV
20.06.2025 09:00 - 17:00 B04.1.06 On Campus
Nächster Termin:
21.06.2025 09:00 - 17:00 B04.1.06 On Campus
Das Lehrangebot ist noch nicht vollständig und wird bis zu Beginn des Semesters fortlaufend erweitert.

Überblick

Lehrende/r
LV-Titel englisch Information Theory and its Application to Communications Engineering
LV-Art Vorlesung-Kurs (prüfungsimmanente LV )
LV-Modell Präsenzlehrveranstaltung
Semesterstunde/n 2.0
ECTS-Anrechnungspunkte 4.0
Anmeldungen 3 (50 max.)
Organisationseinheit
Unterrichtssprache Englisch
LV-Beginn 20.06.2025

Zeit und Ort

Liste der Termine wird geladen...

LV-Beschreibung

Intendierte Lernergebnisse

Vermittlung von Basiswissen über informationstheoretische Methoden und deren Anwendung in digitalen Übertragungssystemen. 

Nach erfolgreichem Abschluss des Kurses sind die Studierenden in der Lage, informationstheoretische Konzepte zu verstehen und in der Nachrichtentechnik anzuwenden (z.B. Verfahren zur Quell- und Kanalcodierung). Die Vorlesung beinhaltet zudem eine Einführung in die Multi-User-Information Theory, sodass die theoretischen Grundlagen für weiterführende Studien gelegt werden.

Lehrmethodik

Grundlegende Inhalte der Informationstheorie werden mathematisch wohl fundiert eingeführt und ihre Bedeutung für die moderne Informationstechnik aufgezeigt. Die Prinzipien der Quellencodierung zur Datenkompression sowie der Kanalcodierung zur fehlerfreien digitalen Übertragung über gestörte Kanäle werden eingehend behandelt und durch Anwendungsbeispiele vertieft.

Inhalt/e

  • Basic definitions: information, entropy, mutual information; entropy for sources with memory.
  • Coding for data compression: source coding theorem;
  • Lossless data compressing codes: Huffman-, Tunstall-, Lempel-Ziv-codes, coding for sources with memory.
  • Description of noisy communication channels by methods of Information Theory
  • Principles of channel coding for reliable communications over noisy channels
  • Information theory for continuous random variables: differential entropy, capacity of channels with white and colored noise, bandlimited continuous-time channels
  • tradeoff between power and bandwidth efficiency.
  • Introduction to Multi-User Information Theory

Erwartete Vorkenntnisse

Grundlagenkenntnisse zur digitalen Übertragung sind von Vorteil, aber nicht Voraussetzung. Methoden der höheren Mathematik, insbesondere der Wahrscheinlichkeitsrechnung, werden als bekannt vorausgesetzt.

Literatur

lecture notes; broad literature (incl. textbooks) on information theory; e. g.

Thomas, Cover : Elements of Information Theory, 2. Edition, 2006

see: Thomas M. Cover, Joy A. Thomas

Link auf weitere Informationen

https://www.idc.tf.fau.de/person/johannes-huber

Intendierte Lernergebnisse

The students acquire fundamental insights into information theoretical methods and their application to the assessment and optimization of digital transmission systems. 

After successful completion of the course, students are able to understand information theoretic concepts and to apply them in communications engineering. This includes schemes for source and channel coding as well as the corresponding theoretical performance limits. The lecture also includes an introduction into multi-user information theory, so that theoretical foundations are laid for future studies.


Lehrmethodik

Fundamental concepts of information theory are introduced and their significance for modern information engineering is highlighted. The principles of source coding for data compression and channel coding for error-free digital transmission over noisy channels are examined in detail and reinforced with practical examples. 

Inhalt/e

  • Basic definitions: information, entropy, mutual information; entropy for sources with memory.
  • Coding for data compression: source coding theorem;
  • Lossless data compressing codes: Huffman-, Tunstall-, Lempel-Ziv-codes, coding for sources with memory.
  • Description of noisy communication channels by methods of Information Theory
  • Principles of channel coding for reliable communications over noisy channels
  • Information theory for continuous random variables: differential entropy, capacity of channels with white and colored noise, bandlimited continuous-time channels
  • tradeoff between power and bandwidth efficiency.
  • Introduction to Multi-User Information Theory

Erwartete Vorkenntnisse

Basic knowledge of digital transmission is beneficial but not required. Methods of advanced mathematics, particularly probability theory, are assumed to be known.

Literatur

lecture notes; broad literature (incl. textbooks) on information theory; e. g.

Thomas, Cover : Elements of Information Theory, 2. Edition, 2006

see: Thomas M. Cover, Joy A. Thomas

Link auf weitere Informationen

https://www.idc.tf.fau.de/person/johannes-huber

Prüfungsinformationen

Im Fall von online durchgeführten Prüfungen sind die Standards zu beachten, die die technischen Geräte der Studierenden erfüllen müssen, um an diesen Prüfungen teilnehmen zu können.

Prüfungsmethode/n

30-minütige mündliche Prüfung. Bei mehr als 15 zur Prüfung angemeldeten Studierenden: schriftliche Prüfung, 90 Minuten

Der Termin für die Prüfung wird mit den Studierenden in der letzten LV-Einheit akkordiert. 

Prüfungsinhalt/e

Alle Lektionen der Vorlesungsunterlagen.

Beurteilungskriterien/-maßstäbe

Kenntnisse des Stoffgebiets.

Prüfungsmethode/n

30 minutes oral exam, if more than 15 students apply: written, 90 minutes

The date of the exam will be agreed with the students in the last unit

Prüfungsinhalt/e

All chapters of the lecture notes

Beurteilungskriterien/-maßstäbe

Knowledge of lecture content

Beurteilungsschema

Note Benotungsschema

Position im Curriculum

  • Masterstudium Information and Communications Engineering (ICE) (SKZ: 488, Version: 15W.1)
    • Fach: Networks and Communications: Advanced (NC) (Wahlfach)
      • Wahl aus dem LV-Katalog (siehe Anhang 2) ( 0.0h VO, VK / 30.0 ECTS)
        • 700.660 Information Theory and its Application to Communications Engineering (2.0h VC / 4.0 ECTS)
  • Masterstudium Information and Communications Engineering (ICE) (SKZ: 488, Version: 15W.1)
    • Fach: Information and Communications Engineering: Supplements (NC, ASR) (Wahlfach)
      • Wahl aus dem LV-Katalog (Anhang 4) ( 0.0h VK, VO, KU / 14.0 ECTS)
        • 700.660 Information Theory and its Application to Communications Engineering (2.0h VC / 4.0 ECTS)
  • Masterstudium Information and Communications Engineering (ICE) (SKZ: 488, Version: 15W.1)
    • Fach: Technical Complements (NC, ASR) (Wahlfach)
      • Wahl aus dem LV-Katalog (Anhang 5) ( 0.0h VK, VO, KU / 12.0 ECTS)
        • 700.660 Information Theory and its Application to Communications Engineering (2.0h VC / 4.0 ECTS)
  • Masterstudium Information and Communications Engineering (ICE) (SKZ: 488, Version: 15W.1)
    • Fach: Information and Communications Engineering: Supplements (NC, ASR) (Wahlfach)
      • Wahl aus dem LV-Katalog (Anhang 4) ( 0.0h VK, VO, KU / 14.0 ECTS)
        • 700.660 Information Theory and its Application to Communications Engineering (2.0h VC / 4.0 ECTS)
  • Masterstudium Information and Communications Engineering (ICE) (SKZ: 488, Version: 15W.1)
    • Fach: Technical Complements (NC, ASR) (Wahlfach)
      • Wahl aus dem LV-Katalog (Anhang 5) ( 0.0h VK, VO, KU / 12.0 ECTS)
        • 700.660 Information Theory and its Application to Communications Engineering (2.0h VC / 4.0 ECTS)
  • Masterstudium Information and Communications Engineering (ICE) (SKZ: 488, Version: 22W.1)
    • Fach: Networks and Communications: Advanced (Wahlfach)
      • 1.2 Information Theory ( 0.0h VC / 4.0 ECTS)
        • 700.660 Information Theory and its Application to Communications Engineering (2.0h VC / 4.0 ECTS)

Gleichwertige Lehrveranstaltungen im Sinne der Prüfungsantrittszählung

Sommersemester 2023
  • 700.660 VC Information Theory and its Application to Communications Engineering (2.0h / 4.0ECTS)
Sommersemester 2021
  • 700.660 VC Information Theory and its Application to Communications Engineering (2.0h / 4.0ECTS)
Sommersemester 2018
  • 700.660 VC Information Theory (2.0h / 4.0ECTS)
Sommersemester 2017
  • 700.660 VC Information Theory (2.0h / 4.0ECTS)
Sommersemester 2016
  • 700.660 VC Information Theory (2.0h / 4.0ECTS)
Sommersemester 2014
  • 700.660 VK Information Theory and its Applications in Communication Engineering (2.0h / 4.0ECTS)
Sommersemester 2013
  • 700.660 VK Information Theory and its Applications in Communication Engineering (2.0h / 4.0ECTS)