Περιγραφή θέματος

  • Γενικά

    • Ανακοινώσεις Φόρουμ
      Εδώ αναρτώνται οι γενικές ανακοινώσεις από τους διδάσκοντες προς τους εγγεγραμμένους φοιτητές, οι οποίοι τις λαμβάνουν και στην ηλεκτρονική τους διεύθυνση.

    • Forum Ερωτήσεων/Απαντήσεων Φόρουμ

      Σε αυτό το forum, μπορεί οποιοσδήποτε εγγεγραμμένος φοιτητής να αναρτά ερωτήσεις σχετικές με το μάθημα και να λαμβάνει απαντήσεις από τους διδάσκοντες. Οι ερωτήσεις και οι απαντήσεις θα είναι διαθέσιμες σε όλους τους φοιτητές. 

      Οι φοιτητές μπορούν να δηλώσουν με την εγγραφή τους αν θέλουν να ενημερώνονται για τις αναρτώμενες ερωταπαντήσεις.


  • Διδάσκοντες - Βοηθοί Διδασκαλίας

    • Κωνσταντίνος Χρυσαφίνος, Καθηγητής ()
    • Δημήτρης Φωτάκης, Αναπλ. Καθηγητής ()


    Ώρες Γραφείου Διδασκόντων

    • Κωνσταντίνος Χρυσαφίνος: Δευτέρα & Τρίτη10:30-11:30 (Γραφείο 2-17, Κτ. Ε).
    • .Δημήτρης Φωτάκης: Τρίτη 14:00 - 15:00, στο γραφείο 1.1.10, (Παλαιό) Κτήριο Ηλεκτρολόγων.

    • Γενικές Πληροφορίες - Διαλέξεις


      Το μάθημα προσφέρεται στα πλαίσια του ΔΠΜΣ "Επιστήμη Δεδομένων και Μηχανική Μάθηση" (ΕΔΕΜΜ), του ΔΠΜΣ "Αλγόριθμοι, Λογική και Διακριτά Μαθηματικά" (ΑΛΜΑ) και του Διδακτορικού Προγράμματος της ΣΗΜΜΥ ΕΜΠ. 

      Οι διαλέξεις του μαθήματος γίνονται κάθε Τετάρτη, ώρα 15:15-18:00, στο Νέο Κτήριο Ηλεκτρολόγων, Αίθουσα 008.


      • Βιβλιογραφία - Σχετικά Μαθήματα



        • Εκπαιδευτικό Υλικό - Προτεινόμενη Μελέτη

          Σημειώσεις μαθημάτων μέχρι και την 4η βδομάδα (δεν συμπεριλαμβάνονται κάποιες από τις ασκήσεις που έγιναν στον πίνακα).

        • Διαλέξεις - Διαφάνειες - Υλικό

          • Διάλεξη 28/2/2022: Διαδικαστικά θέματα. Εισαγωγή. 
          • Διάλεξη 6/5/2022: Εισαγωγή, online learning finite hypothesis classes, PAC learning, Empirical Risk Minimization (ERM), VC-dimension, το θεμελιώδες θεώρημα του Statistical Learning, Agnostic PAC Learning, Learning via uniform convergence. 
          • Διάλεξη 13/5/2022: Learning via uniform convergence, bias-complexity tradeoff, loss functions, ERM and convex optimization, online learning, online convex optimization, regret, no-regret αλγόριθμοι, Follow the Leader (ορισμός και ανάλυση του regret), ο ρόλος της ισχυρής κυρτότητας στην ευστάθεια αλγορίθμων της μορφής Follow the Leader, regularization, Follow the regularized Leader (ορισμός, παραμετροποίηση με βάση τον regularizer, ανάλυση του regret).
          • Διάλεξη 16/5/2022: Βασική ανάλυση της Gradient Descent για convex και strongly convex συναρτήσεις, Be the Regularized Leader και regret ανάλυση του Follow the Regularized Leader στη γενική περίπτωση του Online Convex Optimization, Online Gradient Descent, ανάλυση για convex και strongly convex συναρτήσεις, Stochastic Gradient Descent, ανάλυση με αναγωγή στην ανάλυση της Online Gradient Descent. 
          • Διάλεξη 23/5/2022: Επανάληψη ανάλυσης της Stochastic Gradient Descent, εφαρμογή της SGD σε ελαχιστοποίησης log-likelihood για την εκμάθηση μέσης τιμής κανονικής κατανομής και παραμέτρου Bernoulli κατανομής, σύντομη εισαγωγή σε multi-armed bandits.
          • Διάλεξη 30/5/2022: Εκμάθηση κατανομών, total variation distance και Kullback–Leibler divergence, log-likelihood για πολυδιάστατες κανονικές κατανομές, δειγματική πολυπλοκότητα εκμάθησης πολυδιάστατων κανονικών κατανομών, κατανομές κατάταξης, εκμάθηση Mallows κατανομών, εκμάθηση κανονικών κατανομών από coarse δείγματα, restricted Boltzmann machines. 
          • Διάλεξη 6/6/2022 από Παναγιώτη Μερτικόπουλο: From Convex Optimization to Learning in Games. 

          • Γραπτές Ασκήσεις

            • Θα ανακοινωθούν δύο (2) σειρές γραπτών ασκήσεων. 
            • Οι γραπτές ασκήσεις υποβάλλονται στη σελίδα του μαθήματος, στο helios. Δεν γίνεται δεκτή η παράδοση ασκήσεων με e-mail.

            Εκφωνήσεις Γραπτών Ασκήσεων