Εντροπία, σχετική εντροπία και αμοιβαία πληροφορία, ιδιότητα της
ασυμπτωματικής ισοκατανομής, ρυθμοί εντροπίας στοχαστικών διεργασιών,
συμπίεση δεδομένων, τυχερά παίγνια και συμπίεση δεδομένων, χωρητικότητα
διαύλου, διαφορική εντροπία, δίαυλος Gauss, θεωρία ρυθμού-παραμόρφωσης,
θεωρία πληροφορίας και στατιστική, μέγιστη εντροπία, καθολική
κωδικοποίηση πηγής, πολυπλοκότητα Kolmogorov, δικτυακή θεωρία
πληροφορίας, θεωρία πληροφορίας και θεωρία χαρτοφυλακίου, ανισότητες της
θεωρίας πληροφορίας.
- Διδάσκων: Μιλτιάδης Αναγνώστου
Περιγραφή : Το μάθημα καλύπτει βασικές έννοιες και τομείς στη θεωρία πληροφοριών, συμπεριλαμβανομένης της εντροπίας, της συμπίεσης δεδομένων, της χωρητικότητας του καναλιού και των εφαρμογών τους σε διάφορους τομείς όπως τα παίγνια, η στατιστική και η θεωρία χαρτοφυλακίου. Ασχολείται επίσης με θέματα όπως τα κανάλια Gauss, η θεωρία παραμόρφωσης ρυθμού, η πολυπλοκότητα Kolmogorov και η θεωρία πληροφοριών δικτύου.
Εκπαιδευτικές Μονάδες ECTS : 4
Διδάσκοντες : Μιλτιάδης Ε. Αναγνώστου
Βιβλιογραφία :
Cover, Thomas M.., Thomas, Joy A.. Elements of Information Theory. Wiley, 2012.
Μαθησιακά Αποτελέσματα :
- Γνώση βασικών εννοιών της θεωρίας πληροφοριών και ειδικότερα της εντροπίας ενός τυχαίου φαινομένου, της αμοιβαίας πληροφόρησης μεταξύ τυχαίων μεταβλητών κ.λπ.
- Ικανότητα εκτέλεσης αριθμητικών υπολογισμών μικρής και μεγάλης κλίμακας με κατάλληλα μαθηματικά εργαλεία.
- Γνώση των θεμελιωδών ιδιοτήτων της επικοινωνίας και σχέση με τις ιδιότητες της πηγής πληροφοριών και του καναλιού.
- Βασική κατανόηση του πώς η χωρητικότητα ενός καναλιού συνδέεται αφενός με την αμοιβαία πληροφορία, αφετέρου με τα λειτουργικά του χαρακτηριστικά και κυρίως με τα σφάλματα μετάδοσης.
- Κατανόηση του τρόπου με τον οποίο μπορεί να βελτιστοποιηθεί μια μετάδοση που χρησιμοποιεί ένα κανάλι.
- Κατανόηση της επίδρασης του θορύβου στη χωρητικότητα ενός καναλιού.
- Κατανόηση της συμπίεσης δεδομένων.
- Κατανόηση των συστημάτων τυχοπαιξίας και πώς μπορούν να αναλυθούν χρησιμοποιώντας έννοιες της θεωρίας πληροφορίας.
- Βασική κατανόηση της χρήσης της θεωρίας πληροφορίας στη θεωρία χαρτοφυλακίου.
- Βασική κατανόηση εναλλακτικών θεωρήσεων της εντροπίας, όπως η πολυπλοκότητα του Kolmogorov.
Πρόγραμμα Σπουδών στο οποίο ανήκει: Προπτυχιακό πρόγραμμα ΣΗΜΜΥ ΕΜΠ
Τύπος Μαθήματος: Υποχρεωτικό ή Κατ' επιλογήν : Κατ' επιλογήν
Τύπος Μαθήματος: Κορμού ή Κατεύθυνσης : Κατεύθυνσης
Φόρτος Εργασίας : 3 θεωρία, 9 μελέτη
Μέθοδος Αξιολόγησης : Γραπτή εξέταση 100%, επίλυση ασκήσεων προσθετικά 15%
Κατανομή Διδακτέας Ύλης : Θεωρία 39 ώρες, ασκήσεις 16 ώρες, μελέτη 65 ώρες
Τύπος : Μάθημα
Κοινό : μόνο σπουδαστές
Περιεχόμενα :
UNIT 1: Unit 1 Title
- Presentation link
- Book link
- Exercise link
Γλώσσα : el