Topic outline

  • Announcements

  • Γενικές Πληροφορίες

    Καλώς ήλθατε στη σελίδα του μαθήματος Νευρωνικά Δίκτυα και Ευφυή Υπολογιστικά Συστήματα του Προγράμματος Προπτυχιακών Σπουδών (9ο εξάμηνο) της Σχολής Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών του Εθνικού Μετσόβιου Πολυτεχνείου.


    Ταυτότητα μαθήματος
      • Ροή:                           Υ - Υπολογιστικά Συστήματα
      • Εξάμηνο:                   9ο
      • Κατηγορία:               Κατ' επιλογήν υποχρεωτικό
      • Διαλέξεις Θεωρίας: Τρίτη 10:45-12:30 - Αμφιθέατρο 3
      • Εργαστήριο:             Δευτέρα 08:45-10:30, 10:45-12:30, 15:15-17:00 - PC Lab ΣΗΜΜΥ


    Διδάσκοντες

      • Στέφανος Κόλλιας, Καθηγητής ΕΜΠ
      • Γεώργιος Στάμου, Καθηγητής ΕΜΠ
      • Αθανάσιος Βουλόδημος, Επίκουρος Καθηγητής ΕΜΠ
      • Γεώργιος Αλεξανδρίδης, ΕΔΙΠ
      • Γεώργιος Σιόλας, ΕΔΙΠ
      • Παρασκευή Τζούβελη, ΕΔΙΠ

    Για να επικοινωνήσετε με τους διδάσκοντες, μπορείτε να στείλετε email στην ηλεκτρονική διεύθυνση του μαθήματος: nn@ails.ece.ntua.gr.

    Για να επικοινωνήσετε με τους διδάσκοντες του εργαστηρίου, μπορείτε να στείλετε email στην ηλεκτρονική διεύθυνση του εργαστηρίου nn_lab@ails.ece.ntua.gr.

    Email που στέλνονται στις ατομικές διευθύνσεις των διδασκόντων θα αγνοούνται!

    Περιγραφή

    Το μάθημα καλύπτει την περιοχή των νευρωνικών δικτύων με αναφορά και σε άλλες τεχνικές από την ευρύτερη περιοχή της υπολογιστικής νοημοσύνης. 

    Θεωρία

      • δίκτυα πρόσθιας τροφοδότησης και μάθηση μέσω διόρθωσης σφάλματος (πολυστρωματικό perceptron και ο αλγόριθμος backpropagation)
      • μηχανές διανυσμάτων υποστήριξης
      • συσχετιστικά δίκτυα, δίκτυα Hopfield, πολυστρωματικά δίκτυα με ανατροφοδότηση 
      • δίκτυα ανταγωνιστικής μάθησης και χάρτες Kohonen
      • ενισχυτική μάθηση 
      • αλγόριθμοι συνδυαστικής βελτιστοποίησης, γενετικοί αλγόριθμοι
      • βαθιά μάθηση, συνελικτικά δίκτυα, επαναληπτικά δίκτυα, αυτοκωδικοποιητές, παραγωγικά αντιπαραθετικά δίκτυα

    Εργαστήριο

      • επιβλεπόμενη μάθηση: αφελής μπεϋζιανός ταξινομητής, παραμετρικοί και μη-παραμετρικοί ταξινομητές, ανταλλαγή μεροληψίας - διακύμανσης, ταξινομητής k-πλησιέστερων γειτόνων, υπερπαράμτεροι και διασταυρούμενη επικύρωση, μετρικές αξιολόγησης, προεπεξεργασία δεδομένων, κατάρα της διαστατικότητας, εξισορρόπηση συνόλων δεδομένων
      • μη επιβλεπόμενη μάθηση: ομαδοποίηση, αλγόριθμος k-μέσων, αξιολόγηση ομαδοποίησης, ασαφής αλγόριθμος c-μέσων, ιεραρχική ομαδοποίηση, γκαουσιανά μοντέλα μειγμάτων, αυτοοργανούμενοι χάρτες Kohonen
      • ενισχυτική μάθηση: δυναμικός προγραμματισμός, Q-learning, βαθιά ενισχυτική μάθηση
      • βαθιά μάθηση: βιβλιοθήκη tensorflow, συνελικτικά δίκτυα, βιβλιοθήκη keras, επαναληπτικά δίκτυα, δίκτυα υπολοίπων


    Μεταβατικές διατάξεις που προκύπτουν από τις αλλαγές στο ΠΠΣ

    Υπενθυμίζεται ότι σύμφωνα με τις σχετικές αλλαγές του Προγράμματος Προπτυχιακών Σπουδών που έχουν ανακοινωθεί, κατά το χειμερινό (9ο) εξάμηνο του ακαδημαϊκού έτους 2022-2023, το μάθημα "Νευρωνικά Δίκτυα και Ευφυή Υπολογιστικά Συστήματα" διδάσκεται με την τρέχουσα (παλαιά) μορφή/ύλη για τελευταία φορά για τους σπουδαστές οι οποίοι τον Οκτώβριο του 2022 εγγράφονται στο 9ο εξάμηνο.

    Από το εαρινό εξάμηνο, το μάθημα θα μετονομαστεί σε "Νευρωνικά Δίκτυα και Βαθιά Μάθηση", θα μεταφερθεί στο 8ο εξάμηνο, στο οποίο και θα διδάσκεται εφεξής με νέα μορφή/ύλη, για τους σπουδαστές οι οποίοι τον Οκτώβριο του 2022 εγγράφονται στο 7ο εξάμηνο (ή μικρότερο).



    Βαθμολογικό σχήμα

    • Τελική γραπτή εξέταση: 70%.
    • Εργαστήριο: 40% σε τρεις ομαδικές ασκήσεις κατά τη διάρκεια του εξαμήνου.
    • Συνολικά είναι διαθέσιμοι 11 πόντοι (ένας βαθμός bonus).


    Διδακτέα - εξεταστέα ύλη

    Η διδακτέα και εξεταστέα ύλη είναι το σύνολο της ύλης των διαλέξεων και του εργαστηρίου.



    • Διαλέξεις

      • Διαλέξεις Folder

        Στον φάκελο αυτό θα ανεβαίνουν σταδιακά οι διαφάνειες των διαλέξεων του μαθήματος. 

    • Εργαστήριο

      Για την τελευταία ακαδημαϊκή χρονιά διεξαγωγής του μαθήματος 2022 - 2023 το εργαστήριο θα διεξάγεται διαδικτυακά στο κανάλι Εργαστήριο (1. Παρουσιάσεις) στο MS Teams του μαθήματος κάθε Δευτέρα 15.15 - 17.00 με ταυτόχρονη καταγραφή.

      Τα βίντεο με τις παρουσιάσεις βρίσκονται στο κανάλι "Εργαστήριο", στο tab "Files" και στοον φάκελο "Recordings". Εναλλακτικά, μπορείτε να τα βρείτε στο SharePoint του μαθήματος.

      Κωδικός μαθήματος στο MS Teams 46816p9

      • Επιλογή ομάδας εργαστηρίου Group choice

        Επιλέξτε τα μέλη της ομάδας με την οποία θα δουλέψετε στις 3 εργαστηριακές ασκήσεις κατά τη διάρκεια του εξαμήνου. Ελάχιστος αριθμός μελών 2, μέγιστος 3. Το αν η ομάδα έχει 2 ή 3 μέλη δεν αλλάζει κάτι ως προς τα ζητούμενα οπότε σας προτείνουμε να σχηματίσετε ομάδες των 3 αν είναι δυνατόν.

        Αν δεν έχετε υπόψη σας κάποιον/κάποιους συνεργάτες, μπορείτε να μπείτε μόνοι σας σε μια ομάδα, στο τέλος όμως θα τοποθετηθείτε τυχαία σε ομάδα με τουλάχιστον 2 μέλη. 

        Αν βρεθείτε σε ομάδα με συναδέλφους που δεν γνωρίζετε μπορείτε να ξεκινήσετε την επικοινωνία μέσω του helios: στα δεξιά του header θα βρείτε το drawer μηνυμάτων. επιλέξτε την ομάδα σας και το μέλος με το οποίο θέλετε να επικοινωνήσετε

      • Εργαστήριο Folder

        Στον φάκελο αυτό θα ανεβαίνει το υλικό που παρουσιάζεται στα εργαστήρια του μαθήματος. 

      • Εργασία 1. Επιβλεπόμενη Μάθηση Assignment
        Opened: Sunday, 30 October 2022, 12:00 AM
        Due: Tuesday, 6 December 2022, 11:59 PM
      • Εργασία 2. Μη-επιβλεπόμενη Μάθηση Assignment
        Opened: Tuesday, 29 November 2022, 12:00 AM
        Due: Thursday, 5 January 2023, 11:59 PM
      • Εργασία 3. Βαθιά Μάθηση Assignment
        Opened: Thursday, 29 December 2022, 12:00 AM
        Due: Monday, 27 February 2023, 11:59 PM

    • Βιβλιογραφία

      Κύρια βιβλιογραφία

      • Simon Haykin - Neural Networks and Learning Machines - Prentice Hall, 3rd Edition (2008) - Simon Haykin, Νευρωνικά Δίκτυα και Μηχανική Μάθηση, Εκδόσεις Παπασωτηρίου, 2010 (διανέμεται στο πλαίσιο του μαθήματος)
      • Κωνσταντίνος Διαμαντάρας, Τεχνητά Νευρωνικά Δίκτυα, Εκδόσεις Κλειδάριθμος, 2007 (διανέμεται στο πλαίσιο του μαθήματος)

      Συμπληρωματική βιβλιογραφία

      • John A. Hertz, Anders S. Krogh, Richard G. Palmer - Introduction To The Theory Of Neural Computation - Westview Press (1991)
      • Michael Negnevitsky - Artificial Intelligence A Guide to Intelligent Systems - Addison Wesley, Second Edition (2005)
      • Martin T Hagan,‎ Howard B Demuth,‎ Mark H Beale,‎ Orlando De Jesús - Neural Network Design (2nd Edition) 2014
      • Raul Rojas - Neural Networks A Systematic Introduction - Springer (1996) (available online)
      • Ian Goodfellow and Yoshua Bengio and Aaron Courville - Deep Learning - MIT Press (2016) (available online)
      • Zhang, A., Lipton, Z. C., Li, M., & Smola, A. J. -  Dive into deep learning - (2020) (available online)

      Άρθρα

      • Coolen, Anthony CC. "A beginner’s guide to the mathematics of neural networks." In Concepts for Neural Networks, pp. 13-70. Springer, London, 1998. (available online)
      • Jain, Anil K., Robert P. W. Duin, and Jianchang Mao. "Statistical pattern recognition: A review." IEEE Transactions on pattern analysis and machine intelligence 22, no. 1 (2000): 4-37. (available online)

      Βιβλιοθήκες


      Αντιστοίχιση διαλέξεων - κεφαλαίων βιβλιογραφίας

      Διαλέξεις Haykin Διαμαντάρας Hertz Negnevitsky Hagan Rojas Goodfellow Dive
      Gradient Descent 4           8 11
      Perceptron - MLP 1,4 2,3 5,6 6 4,11 4,6,7   4
      SVM 6 4            
      Hebbian Learning, Hopfield Model 13 7,8 2   21,15 12,13    
      Competitive Learning     9   16      
      SOM 9 9 8          
      Reinforcement Learning 12   7          
      Genetic Algorithms       7   17    
      Combinatorial Optimization     4,7  
      		14    
      Deep Learning             6 5
      Convolutional NN             9 6,7
      Recurrent NN 15           10  8
      Autoencoders & GAN             14 17