Knowledge transfer in reinforcement learning

By Anestis Fachantidis. 2016

30 citations recorded by the source corpus.

To αντικείμενο της διατριβής είναι η μελέτη μεθόδων Μεταφοράς Μάθησης (ΜΜ) για πράκτορες Ενισχυτικής Μάθησης (ΕΜ). Παρουσιάζονται νέοι αλγόριθμοι μεταφοράς μάθησης οι οποίοι είτε παρουσιάζουν καλύτερες επιδόσεις, σε σύγκριση με τις μεθόδους αιχμής από τη σχετική βιβλιογραφία, είτε καθιστούν δυνατή την αυτόνομη μεταφορά μάθησης σε περιπτώσεις όπου παραδοσιακά χρειαζόταν ανθρώπινη παρέμβαση.Αρχικά παρουσιάζονται καινοτομικές μέθοδοι για τη μεταφορά μοντέλων σε πράκτορες ΕΜ με σκοπό την μέγιστη αλλά και πολλαπλή αξιοποίηση τους. Τα μοντέλα των συναρτήσεων μετάβασης και ανταμοιβής μιας εργασίας πηγής μεταφέρονται σε μία σχετική, αλλά διαφορετική, εργασία στόχο. Ο αλγόριθμος μάθησης της εργασίας στόχου είναι υβριδικός, και εφαρμόζει ταυτόχρονα απευθείας μάθηση και μάθηση βασισμένη σε μοντέλο.Στη συνέχεια, μελετάται το μοντέλο μεταφοράς μάθησης με παροχή περιορισμένου αριθμού συμβουλών ενέργειας. Η διατριβή επικεντρώνεται σε πράκτορες δασκάλους που παρέχουν συμβουλές ενεργειών σε ετερογενείς πράκτορες μαθητές.Αρχικά, εξετάζονται μια σειρά από κρίσιμους παράγοντες που επηρεάζουν την ποιότητα των συμβουλών όπως η μέση επίδοση του ίδιου του δασκάλου στην εργασία, η διακύμανση της επίδοσης του κ.α. Τα αποτελέσματα των πειραμάτων δείχνουν τη σημασία του συντελεστή μεταβλητότητας (CV) της επίδοσης του δασκάλου ως στατιστικό εκτιμητή για την επιλογή πολιτικών παροχής συμβουλών.Στη συνέχεια, παρουσιάζεται μια σειρά από νέους αλγόριθμους για το πρόβλημα της κατανομής των συμβουλών και αξιολογούνται σε δύο σύνθετα ηλ. παιχνίδια: StarCraft και Pac-Man. Παρουσιάζεται επίσης μια καινοτόμα μέθοδος για την μάθηση μιας πολιτικής κατανομής συμβουλών. Επιπλέον, υποστηρίζεται ότι το πρόβλημα παροχής συμβουλών ενέργειας είναι υπο-περίπτωση ενός γενικότερου προβλήματος μάθησης. Προτείνουμε και μορφοποιούμε μια νέα υπο-κατηγορία προβλημάτων ενισχυτικής μάθησης την Ενισχυτική Μάθηση Περιορισμένης Αξιοποίησης (Constrained Exploitation Reinforcement Learning). Τα πειραματικά αποτελέσματά δείχνουν ότι η χρήση των προτεινόμενων μεθόδων είναι εφικτή και αποτελεσματική ακόμη και σε πιο σύνθετες εργασίες.Στη συνέχεια η διατριβή ασχολείται με μεθόδους για την αυτόνομη ΜΜ για εργασίες που έχουν σημαντικές διαφορές μεταξύ τους. Οι εργασίες αυτές μπορεί να διαφέρουν όχι μόνο ως προς τις συναρτήσεις μετάβασης και ανταμοιβών, αλλά και ως προς το χώρο ενεργειών και καταστάσεων τους.Αρχικά, περιγράφεται μία νέα μέθοδος με την ονομασία Value-Addition για τη μεταφορά συναρτήσεων αξίας που βασίζεται στις αξίες ενεργειών της εργασίας πηγής για την αυτόνομη επιλογή της συνάρτησης αντιστοίχισης των εργασιών.Στη συνέχεια περιγράφεται μια νέα μέθοδος με την ονομασία COMBREL για τη μεταφορά εμπειριών. Η συγκεκριμένη μέθοδος κάνει χρήση ενός πιθανοτικού μοντέλου. Συγκεκριμένα, προτείνεται μια νέα θεωρητική οπτική κατά την οποία το πρόβλημα πολλαπλών αντιστοιχίσεων μεταξύ δύο εργασιών είναι ισοδύναμο με το πρόβλημα πολλαπλών εργασιών καταδεικνύοντας τη σχέση μεταξύ δύο προβλημάτων που θεωρούταν προηγουμένως διαφορετικά. Ακολούθως, η νέα οπτική επιτρέπει τη μεταφορά ερευνητικών αποτελεσμάτων μεταξύ των δύο ερευνητικών προβλημάτων.Τέλος παρουσιάζονται μια σειρά από εφαρμογές της ΕΜ και των μεθόδων ΜΜ που παρουσιάστηκαν στα προηγούμενα κεφάλαια. Από μεθόδους παροχής συμβουλών ενέργειας σε ανθρώπους μέχρι τη μεταφορά μάθησης μεταξύ ρομπότ με διαφορετικούς βαθμούς ελευθερίας ή/και αρθρώσεις και την μεταφορά μεταξύ ετερογενών πρακτόρων σε ηλ. παιχνίδια, επαληθεύεται η δυνατότητα των προτεινόμενων μεθόδων να επιλύσουν πιο σύνθετα προβλήματα.

Subfields: Artificial Intelligence, Computer Science Applications