Topic outline

  • General

  • Διδάσκοντες - Βοηθοί Διδασκαλίας

    • Κωνσταντίνος Χρυσαφίνος, Καθηγητής ()
    • Δημήτρης Φωτάκης, Καθηγητής ()


    Ώρες Γραφείου Διδασκόντων

    • Κωνσταντίνος Χρυσαφίνος: Δευτέρα & Τρίτη10:30-11:30 (Γραφείο 2-17, Κτ. Ε).
    • Δημήτρης Φωτάκης: Τετάρτη 14:00 - 15:00, στο γραφείο 1.1.10, (Παλαιό) Κτήριο Ηλεκτρολόγων.

    • Γενικές Πληροφορίες - Διαλέξεις

      Το μάθημα προσφέρεται στα πλαίσια του ΔΠΜΣ "Επιστήμη Δεδομένων και Μηχανική Μάθηση" (ΕΔΕΜΜ), του ΔΠΜΣ "Αλγόριθμοι, Λογική και Διακριτά Μαθηματικά" (ΑΛΜΑ) και του Διδακτορικού Προγράμματος της ΣΗΜΜΥ ΕΜΠ. 

      Οι διαλέξεις του μαθήματος γίνονται κάθε Παρασκευή, ώρα 13:10-16:00, στο Νέο Κτήριο Ηλεκτρολόγων, Αίθουσα 008.

      Η πρώτη διάλεξη για το εαρινό εξάμηνο 2023 θα γίνει την Παρασκευή 3 Μαρτίου.


      • Βιβλιογραφία - Σχετικά Μαθήματα



        • Εκπαιδευτικό Υλικό - Προτεινόμενη Μελέτη

          Σημειώσεις μαθημάτων μέχρι και την 4η βδομάδα (δεν συμπεριλαμβάνονται κάποιες από τις ασκήσεις που έγιναν στον πίνακα).

        • Διαλέξεις - Διαφάνειες - Υλικό

          • Διάλεξη 28/2/2023: Διαδικαστικά θέματα. Εισαγωγή. 

          • Διάλεξη 31/3/2023: Εισαγωγή, online learning finite hypothesis classes, PAC learning, Empirical Risk Minimization (ERM), VC-dimension, το θεμελιώδες θεώρημα του statistical learning.

          • Διάλεξη 26/5/2023: PAC learning, Empirical Risk Minimization (ERM), VC-dimension, agnostic PAC learning (επανάληψη), learning via uniform convergence, non-uniform convergence, bias-complexity tradeoff, loss functions, ERM and convex optimization, online learning, regret, no-regret αλγόριθμοι, αλγόριθμος υποδιπλασιασμού, εκμάθηση διαζεύξεων, weighted majority algorithm and randomized weighted majority algorithm, no-regret, εφαρμογές.


          • Διάλεξη 6/6/2023: Βασική ανάλυση της Gradient Descent για convex και strongly convex συναρτήσεις, Be the Regularized Leader και regret ανάλυση του Follow the Regularized Leader (FTRL) στη γενική περίπτωση του Online Convex Optimization, Online Gradient Descent, ανάλυση για convex και strongly convex συναρτήσεις, Stochastic Gradient Descent, ανάλυση με αναγωγή στην ανάλυση της Online Gradient Descent. 

          • Διάλεξη 9/6/2023: Επανάληψη ανάλυσης της Stochastic Gradient Descent, εφαρμογή της SGD σε ελαχιστοποίησης log-likelihood για την εκμάθηση μέσης τιμής κανονικής κατανομής και παραμέτρου Bernoulli κατανομής, σύντομη εισαγωγή στους βασικούς αλγόριθμους για stochastic και adversarial multi-armed bandits.

          • Γραπτές Ασκήσεις

            • Θα ανακοινωθούν δύο (2) σειρές γραπτών ασκήσεων
            • Οι γραπτές ασκήσεις υποβάλλονται στη σελίδα του μαθήματος, στο helios. Δεν γίνεται δεκτή η παράδοση ασκήσεων με e-mail.

            Εκφωνήσεις Γραπτών Ασκήσεων