Κυρτή Βελτιστοποίηση με Εφαρμογές στη Μηχανική Μάθηση

Section outline

• Επιλογή ενότητας Γενικά

  Γενικά

  Σύμπτυξη όλων Ανάπτυξη όλων

  • Επιλογή δραστηριότητας Ανακοινώσεις

    

    Ανακοινώσεις Φόρουμ

    Εδώ αναρτώνται οι γενικές ανακοινώσεις από τους διδάσκοντες προς τους εγγεγραμμένους φοιτητές, οι οποίοι τις λαμβάνουν και στην ηλεκτρονική τους διεύθυνση.
    
    
  • Επιλογή δραστηριότητας Forum Ερωτήσεων/Απαντήσεων

    

    Forum Ερωτήσεων/Απαντήσεων Φόρουμ

    Σε αυτό το forum, μπορεί οποιοσδήποτε εγγεγραμμένος φοιτητής να αναρτά ερωτήσεις σχετικές με το μάθημα και να λαμβάνει απαντήσεις από τους διδάσκοντες. Οι ερωτήσεις και οι απαντήσεις θα είναι διαθέσιμες σε όλους τους φοιτητές. 

    Οι φοιτητές μπορούν να δηλώσουν με την εγγραφή τους αν θέλουν να ενημερώνονται για τις αναρτώμενες ερωταπαντήσεις.

    
    

• Επιλογή ενότητας Διδάσκοντες - Βοηθοί Διδασκαλίας

  Διδάσκοντες - Βοηθοί Διδασκαλίας

  • Κωνσταντίνος Χρυσαφίνος, Καθηγητής ( chrysafinos@math.ntua.gr )
  • Δημήτρης Φωτάκης, Καθηγητής ( fotakis@cs.ntua.gr )
  • Κωστής Καραταπάνης, Μεταδιδάκτορας

   

  Ώρες Γραφείου Διδασκόντων

  • Κωνσταντίνος Χρυσαφίνος: Δευτέρα & Πέμπτη 10:30-11:30 (Γραφείο 2-17, Κτ. Ε).
    
  • Δημήτρης Φωτάκης: Δευτέρα 15:00 - 16:00, στο γραφείο 1.1.10, (Παλαιό) Κτήριο Ηλεκτρολόγων.
  • Κωστής Καραταπάνης: θα ανακοινωθούν.
• Επιλογή ενότητας Γενικές Πληροφορίες - Διαλέξεις

  Γενικές Πληροφορίες - Διαλέξεις

  Το μάθημα προσφέρεται στα πλαίσια του ΔΠΜΣ "Επιστήμη Δεδομένων και Μηχανική Μάθηση" (ΕΔΕΜΜ), του ΔΠΜΣ "Αλγόριθμοι, Λογική και Διακριτά Μαθηματικά" (ΑΛΜΑ) και του Διδακτορικού Προγράμματος της ΣΗΜΜΥ ΕΜΠ. 

  Οι διαλέξεις του μαθήματος γίνονται κάθε Τετάρτη, ώρα 15:10-18:00, στο Νέο Κτήριο Ηλεκτρολόγων, Αίθουσα 008.

  Η πρώτη διάλεξη για το εαρινό εξάμηνο 2024-2025 θα γίνει την Τετάρτη 12 Φεβρουαρίου.
  
• Επιλογή ενότητας Βιβλιογραφία - Σχετικά Μαθήματα

  Βιβλιογραφία - Σχετικά Μαθήματα

  
  

  • Shai Shalev-Shwartz and Shai Ben-David. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press, 2014.
  • Shai Shalev-Shwartz. Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning. Vol. 4(2): 107–194, 2011. 
  • Elad Hazan. Introduction to Online Convex Optimization. Foundations and Trends in Optimization. Vol. 2(3-4): 157-325, 2015.
  • Διαλέξεις@youtube του Machine Learning μαθήματος από τον Shai Ben-David, University of Waterloo, 2015.
  • Μάθημα Machine Learning από τον Shai Shalev-Shwartz, The Hebrew University of Jerusalem, 2014. 

  
  
• Επιλογή ενότητας Εκπαιδευτικό Υλικό - Προτεινόμενη Μελέτη

  Εκπαιδευτικό Υλικό - Προτεινόμενη Μελέτη

  Εδώ θα αναρτηθούν σημειώσεις των μαθημάτων.
• Επιλογή ενότητας Διαλέξεις - Διαφάνειες - Υλικό

  Διαλέξεις - Διαφάνειες - Υλικό

  • Διάλεξη 14/2/2024: Διαδικαστικά θέματα. Εισαγωγή.
  • Διάλεξη 8/4/2024: Οnline learning, αλγόριθμος υποδιπλασιασμού, εκμάθηση διαζεύξεων, regret, no-regret αλγόριθμοι, weighted majority algorithm and randomized weighted majority algorithm, no-regret, εφαρμογές. PAC learning, no-free-lunch theorem, Empirical Risk Minimization (ERM). 
  • Προτεινόμενη μελέτη: 
  • Διαφάνειες διάλεξης.
  • Διαφάνειες Shalev-Shwartz: set1 και set2.
  • Κεφάλαια 1-4 και 6 από Understanding Machine Learning.
  • Survey του Avrim Blum για χρήση online αλγορίθμων για μάθηση και σημειώσεις για τους αλγόριθμους weighted majority και randomized weighted majority (και κάποιες επιπλέον σημειώσεις: 1ο μέρος και 2ο μέρος).
    

  • Διάλεξη 15/4/2024: PAC learning, Empirical Risk Minimization (ERM), VC-dimension, agnostic PAC learning (επανάληψη), learning via uniform convergence, non-uniform convergence, bias-complexity tradeoff, loss functions, ERM and convex optimization.  Οnline learning, regret, no-regret αλγόριθμοι, Follow the Leader (FTL) και Be the Leader BTL) (ορισμός και ανάλυση του regret).
    • Προτεινόμενη μελέτη: 
      • Διαφάνειες διάλεξης:  set1και set2. 
      • Διαφάνειες Shalev-Shwartz:  set2 και set3 (χωρίς το κομμάτι του Linear Regression).
      • Σημειώσεις Β. Συργκάνη. 
        

  
  

  • Διάλεξη 22/4/2024: Online learning, regret, no-regret αλγόριθμοι, Follow the Leader (FTL) και Be the Leader BTL) (ορισμός και ανάλυση του regret, επανάληψη). Ο ρόλος της ισχυρής κυρτότητας στην ευστάθεια αλγορίθμων της μορφής Follow the Leader, regularization, Follow the Regularized Leader (FTRL, ορισμός, παραμετροποίηση με βάση τον regularizer, ανάλυση του regret). Οnline convex optimization, βασική ανάλυση της Gradient Descent για convex συναρτήσεις.
  • Προτεινόμενη μελέτη: 
  • Διαφάνειες διάλεξης (set1 και set2). 
  • Tutorial του Elad Hazan, Optimization and Machine Learning.  
  • Σημειώσεις Μ. Ζαμπετάκη. 
  • Σημειώσεις Β. Συργκάνη. 
  • Κεφάλαιο 1 και ενότητες 2.1 - 2.5 από Online Learning and Online Convex Optimization

  
  

  • Διάλεξη 20/5/2024: Βασική ανάλυση της Gradient Descent για convex και strongly convex συναρτήσεις, Online Gradient Descent, ανάλυση για convex και strongly convex συναρτήσεις, Stochastic Gradient Descent, ανάλυση με αναγωγή στην ανάλυση της Online Gradient Descent. Εφαρμογή της SGD στην ελαχιστοποίηση log-likelihood για την εκμάθηση μέσης τιμής κανονικής κατανομής
  • Προτεινόμενη μελέτη: 
  • Διαφάνειες (set1 και set2). 
  • Κεφάλαια 12, 13 και 14 από Understanding Machine Learning.
    
  • Σημειώσεις Β. Συργκάνη (δείτε μόνο το πρώτο μέρος).
  • Ενότητες 2.1 και 2.2, και κεφάλαιο 3 από Online Convex Optimization. 
    
  • Δείτε ακόμη τις διαφάνειες Shalev-Shwartz για τον ρόλο του regularization στη βελτιστοποίηση υποθέσεων στο Machine Learning, τις διαφάνειες Shalev-Shwartz για μια πιο λεπτομερή παρουσίαση της Stochastic Gradient Descent και των εφαρμογών της στο Machine Learning και τις διαφάνειεςκαι τις σημειώσεις του Γ. Παναγέα για την Stochastic Gradient Descent και τις εφαρμογές της. 

  
  

  • Διάλεξη 27/5/2024: Επανεξέταση αλγορίθμων Gradient Descent, FTRL και Mirror Descent. Σύντομη εισαγωγή στους βασικούς αλγόριθμους για stochastic και adversarial multi-armed bandits.
    • Προτεινόμενη μελέτη:
      
      • Κεφάλαιο 28 από βιβλίο Lattimore and Szepesvariγια για multi-armed bandits.
    • Διαφάνειες Γ. Παναγέα για multi-armed bandits (set1 και set2).
    • Σημειώσεις Γ. Παναγέα για multi-armed bandits .
    • Κεφάλαια 1, 5 και 6 από μονογραφία του A. Slivkins για multi-armed bandits.
      
• Επιλογή ενότητας Γραπτές Ασκήσεις

  Γραπτές Ασκήσεις

  • Θα ανακοινωθούν δύο (2) σειρές ασκήσεων. 
  • Οι ασκήσεις υποβάλλονται στη σελίδα του μαθήματος, στο helios. Δεν γίνεται δεκτή η παράδοση ασκήσεων με e-mail.

  Εκφωνήσεις Γραπτών Ασκήσεων

  • 1η σειρά ασκήσεων. Προθεσμία υποβολής: 
  • 2η σειρά ασκήσεων. Προθεσμία υποβολής: