You are currently viewing Υπερμοντελοποίηση στην Μηχανική Μάθηση (overfitting)

Υπερμοντελοποίηση στην Μηχανική Μάθηση (overfitting)

Εισαγωγή στη Μηχανική μάθηση

Η Μηχανική Μάθηση επιδιώκει την δημιουργία μοντέλων μέσω των αλγορίθμων που χρησιμοποιεί. Σκοπός ενός μοντέλου μπορεί να είναι η ταξινόμηση νέων περιπτώσεων βάση ενός συνόλου κατηγοριών. Για να είναι εφικτή αυτή η λειτουργία θα πρέπει το μοντέλο που θα δημιουργηθεί να μπορεί να γενικεύσει.

Τι εννοούμε γενίκευση;

Για να κατανοήσουμε καλύτερα τον σκοπό των μοντέλων που έχουν προκύψει από επιβλεπόμενη μάθηση (Μηχανική μάθηση), προσπαθώντας να λύσουν το πρόβλημα της ταξινόμησης, θα δώσουμε ένα παράδειγμα. Σκεφτείτε ότι την επόμενη μέρα δίνετε εξετάσεις στη σχολή σας γνωρίζοντας τα θέματα των προηγούμενων ετών.

Πιστεύοντας ότι και τα φετινά θέματα θα είναι τα ίδια, εστιάζετε την μελέτη σας μόνο σε αυτά. Αν τελικά στις εξετάσεις τα θέματα είναι ίδια με των παλαιότερων ετών τότε θα είστε σε θέση να γράψετε και ίσως να αριστεύσετε. Από την άλλη μεριά, αν τα θέματα είναι διαφορετικά το μόνο σίγουρο είναι ότι θα έχετε μία δύσκολη μέρα.

Ας μεταφέρουμε το παράδειγμα στην ανάλυση που κάναμε προηγουμένως. Κατά την εκπαίδευσή σας δεν γενικεύσατε με βάση τις γνώσεις που πήρατε από τα παλιά θέματα. Αντιθέτως, γνωρίσατε πολύ καλά ένα συγκεκριμένο σύνολο θεμάτων. Έτσι, το “μοντέλο” που χτίσατε δεν μπόρεσε να τα πάει καλά σε νέες περιπτώσεις που δεν ταιριάζουν στο σύνολο δεδομένων που εκπαιδευτήκατε. Τι όμως πήγε στραβά; Την απάντηση σε αυτό θα μας την δώσει η έννοια της υπερμοντελοποίησης.

Υπερμοντελοποίηση

Ένας επίσημος ορισμός στην περίπτωση της ανάλυσής μας από το Oxford Dictionary θα σας διαφωτίσει.

The production of an analysis which corresponds too closely or exactly to a particular set of data, and may therefore fail to fit additional data or predict future observations reliably.

Περιπτώσεις υπερμοντελοποίσης στη Μηχανική μάθηση

Περιπτώσεις υπερμοντελοποίσης μπορούμε να έχουμε όταν.

  1. Τα δεδομένα εκπαίδευσης δεν ταιριάζουν με τις νέες περιπτώσεις. Για παράδειγμα, φανταστείτε ότι θέλετε να ταξινομήσετε κάποια email σε ανεπιθύμητη ή επιθυμητή αλληλογραφία. Έστω ότι τα email που διαθέτουμε ως σύνολο εκπαίδευσης είναι μόνο ανεπιθύμητα. Το μοντέλο που θα χτιστεί δεν θα είναι σε θέση να προβλέψει μία νέα περίπτωση email ως επιθυμητή αλληλογραφία καθώς δεν θα έχει δει προγενέστερα μία τέτοια περίπτωση.
  2. Η επιλογή χαρακτηριστικών. Ως παράδειγμα θα χρησιμοποιήσουμε το παράδειγμα με την αλληλογραφία. Έστω ότι κάθε χαρακτηριστικό είναι μία λέξη σε ένα δοσμένο λεξικό της αγγλικής γλώσσας μαζί με λέξεις από την σύγχρονη τεχνολογία. Επίσης, το μοντέλο εκπαιδεύεται ώστε να μπορεί να προβλέψει αν η αλληλογραφία είναι επιθυμητή ή όχι βρίσκοντας συνδυασμούς λέξεων.
  3. Η παραμετροποίηση των αλγορίθμων μηχανικής μάθησης κατά την εκπαίδευση του μοντέλου. Όπως, αναφέρετε στο sklearn η παραμετροποίηση είναι μία επιθυμητή ενέργεια που την εφαρμόζουν πολλοί ερευνητές με σκοπό την βελτίωση των αποτελεσμάτων τους.

Για την επίλυση της υπερμοντελοποίησης και για την καλύτερη γενίκευση του μοντέλου που χτίζουμε θα μπορούσαμε να σπάσουμε το σύνολο των δεδομένων μας σε σύνολο εκπαίδευσης και σύνολο δοκιμής.

Κάποιες χρήσιμες πηγές για Μηχανική μάθηση

      1. Machine Learning: The Art and Science of Algorithms that Make Sense of Data 
      2. Overfitting 

Για περισσότερα νέα σχετικά με την επιστήμη της πληροφορικής μπορείτε να δείτε εδώ!

Αφήστε μια απάντηση