Information Theory

General

• Code: ΠΛΥ05021
• Semester: 5th
• Study Level: Undergraduate
• Course type: General Background
• Teaching and exams language: Greek
• Teaching Methods (Hours/Week): Lectures (3)
• ECTS Units: 5
• Course homepage: http://teachers.teicm.gr/politis/anak_inf_theory.htm
• Instructors: Politis Anastasios
• Coordinator: Politis Anastasios
• Class Schedule:
  • Wed 15:00 - 18:00: Θ (302)

Course Contents

The course is an introduction to the Information Theory and Coding concepts. This knowledge is essential for the study and analysis of telecommunication systems, as well as the understanding of the data encoding techniques that lead to the compression of data. The following concepts are introduced during the course:

• Measure of Information
• Entropy. Mutual entropy, conditional entropy
• Transinformation
• Channel matrix, channel diagram
• Channel Capacity
• Basic channel types (ideal channel, binary summetric channel, erasure channel etc)
• Coding (Huffman, Arithmetic etc.)

Educational Goals

Το μάθημα αποσκοπεί στο να παράσχει στο σπουδαστή βασικές γνώσεις της θεωρίας πληροφοριών και κωδίκων. Οι γνώσεις αυτές θεωρούνται απαραίτητες για τη μελέτη και ανάλυση τηλεπικοινωνιακών συστημάτων καθώς και για την κατανόηση τεχνικών κωδικοποίησης δεδομένων που στοχεύουν είτε στην συμπίεση δεδομένων είτε στην αντιμετώπιση των συνεπειών του θορύβου. Μετά την παρακολούθηση του μαθήματος οι σπουδαστές θα πρέπει να μπορούν:

• Να εκτιμούν την πληροφορία που περιέχει έχει σύνολο δεδομένων.
• Να υπολογίζουν την εντροπία μίας πηγής πληροφορίας.
• Να υπολογίζουν τη χωρητικότητα ενός απλού δίαυλου πληροφορίας.
• Να κατανοούν τους περιορισμούς στους οποίους υπόκειται κάθε τεχνική κωδικοποίησης δεδομένων.
• Να αναγνωρίζουν τα πλεονεκτήματα και μειονεκτήματα διαφόρων απλών κωδίκων ανίχνευσης και διόρθωσης σφάλματος.

General Skills

• Αναζήτηση, ανάλυση και σύνθεση δεδομένων και πληροφοριών, με τη χρήση και των απαραίτητων τεχνολογιών.
• Αυτόνομη εργασία.
• Ομαδική εργασία.
• Σχεδιασμός και Διαχείριση Έργων.
• Προαγωγή της ελεύθερης, δημιουργικής και επαγωγικής σκέψης.

Teaching Methods

• Θεωρητική από έδρας διδασκαλία με συζήτηση και ενεργή συμμετοχή των φοιτητών.
• Ανάθεση εξαμηνιαίων εργασιών.

Use of ICT means

• Υποστήριξη Μαθησιακής διαδικασίας μέσω της ιστοσελίδας του μαθήματος.
• Επικοινωνία με φοιτητές μέσω e-mail.

Teaching Organization

Students Evaluation

Ο τελικός βαθμός του μαθήματος διαμορφώνεται από γραπτή τελική εξέταση. Η γραπτή τελική εξέταση του περιλαμβάνει:

• Ερωτήσεις πολλαπλής επιλογής.
•  Επίλυση προβλημάτων εφαρμογής των γνώσεων που αποκτήθηκαν.
• Ερωτήσεις σύντομης απάντησης.
• Συγκριτική αξιολόγηση στοιχείων θεωρίας.

Recommended Bibliography

Συγγράμματα μέσω του συστήματος ΕΥΔΟΞΟΣ:

1. Δ. Χ. Βούκαλης, Θεωρία Πληροφοριών και Κωδίκων, Εκδόσεις Ίων, Περιστέρι, 1994.
2. Α. Φώτω, Εισαγωγή στη θεωρία της πληροφορίας, Σ.ΑΘΑΝΑΣΟΠΟΥΛΟΣ & ΣΙΑ Ι.Κ.Ε, 1994.

Συγγράμματα που διανέμονται μέσω του Ιδρύματος ή της ηλεκτρονικής σελίδας του μαθήματος:

1. Α. Πολίτης, Ι. Ρέκανος, Θεωρία της Πληροφορίας, Σημειώσεις, Σέρρες.

Συμπληρωματική προτεινόμενη βιβλιογραφία:

1. R. G. Gallager, Information Theory and Reliable Communication, Wiley, New York, 1968.
2. T. M. Cover and J. A. Thomas, Elements of Information Theory, Wiley, New York, 1991.