Βρισκόμαστε στην περίοδο όπου σύμφωνα με το κτηματολόγιο των Θηβών χωριά και μεγάλες εκτάσεις ανήκουν στην ιδιοκτησία ενός ατόμου (φεουδάρχη). Την εποχή αυτή η Άσκρη θα παραχωρηθεί σε συγγενείς του δούκα των Αθηνών, Όθωνα ντε λα Ρος. Οι μεγάλοι και εύφοροι αμπελώνες, ο πλούσιος κάμπος της Κοιλάδας των Μουσών, καθώς και ο ελαιώνας αποτελούσαν κίνητρο για τους Φράγκους φεουδάρχες οι οποίοι εκμεταλλεύονταν για πολλές δεκαετίες τις πλούσιες παραγωγές της περιοχής. Την περίοδο αυτή κτίζεται στην Άσκρη ένας από τους είκοσι οκτώ μεσαιωνικούς πύργους της Κεντρικής Ελλάδος.
     Η φραγκοκρατία κράτησε στη Βοιωτία επί δυόμισι αιώνες (1204 – 1460) και διακρίνεται στην περίοδο των Γάλλων (1205 - 1311), των Καταλανών (1311 - 1387) και των Ιταλών (1387 – 1460). Οι δύο πρώτες κατοχές ήταν τυραννικές και βασάνισαν τους Έλληνες με τους πολλούς αφέντες και κατόχους γης. Η ιταλική κυριαρχία όμως δεν ανέδειξε κανένα τιμαριούχο μεγιστάνα με αποτέλεσμα να εκλείψουν τα φέουδα και οι τιμαριούχοι και μαζί με αυτούς η πολυτυραννία. Η λατινική μειοψηφία, ανεξάρτητα από το πολιτικό και οικονο¬μικό της υπόβαθρο, έτεινε να ζει στις πόλεις. Η ύπαιθρος είχε αφεθεί στους Έλληνες. Έτσι το χωριό συνεχίζει στην αρχική του θέση, αλλά κάποια μεγάλη έκτασή του, προφανώς η περιοχή του Χριστού, δίνεται ως φέουδο σε έναν μη ευγενή Λατίνο στρατιωτικό. Ο φεουδάρχης αυτός κτίζει τον Πύργο, σε μία φυσικά οχυρωμένη και με αρίστη παρατήρηση προς τον κάμπο των Θεσπιών, θέση. Δημιουργεί εκεί την κατοικία του και κατά μία εκδοχή εγκαθιστά ένα μικρό αριθμό εποίκων στην Επισκοπή, για την καλλιέργεια της γης και για να τους έχει πιο κοντά στο φέουδό του. Οι έποικοι αυτοί πιθανόν να ήταν Σλάβοι που έφεραν το όνομα Ζαρατόβα (Zaratoba). Με το όνομα αυτό εγκατέστησαν βοηθό επισκόπου της επισκοπής Θηβών, τον λεγόμενο επίσκοπο «Ζαρατοβίων» ή Θεσπιών (Bishop of Zaratoba or Thespiae), που φαίνεται να είχε έδρα την Επισκοπή.
     Σύμφωνα με τα αρχεία της Βενετίας, τον 14ο αιώνα η Παναγιά, καθώς και τα κτήματα ολόκληρης της περιοχής, ήταν ιδιοκτησία του Νερούτσου Πίττη, θείου του ηγεμόνα της Θήβας, φράγκου Ατζαγιόλι. Την ίδια περίοδο η Δισκέπαση ήταν φέουδο του φράγκου ιερέως Φραγκίσκου Λοκάνσα. Η νέα λατινική εκκλησία προσπάθησε αρχικά να βασιστεί στις υφιστάμενες ελ¬ληνικές Επισκοπές, διορίζοντας Λατίνους επισκόπους σε αυτές και διατηρώντας τα όρια τους. Η αρχιεπισκοπή Θηβών είχε επισκοπικές έδρες σε Λειβαδιά, Κορώνεια, Ζαράτοβα (Άσκρη;), Κακόσι και Κόκλα.
     Τον 14ο αιώνα παρουσιάζεται μία ελάττωση ή και ερήμωση πολλών χωριών, η οποία προήλθε από την πανώλη και τη μετατροπή των αγγαρειών (έκτακτος φόρος που επιβαλλόταν στα μεσαία στρώματα του πληθυσμού), ή υπηρε¬σιών που οφείλονταν στον άρχοντα, σε πληρωμή μετρητοίς, που φαί-νεται ότι είχε προκαλέσει σημαντική φυγή των αγροτών καλλιεργητών. Οι επιπτώσεις του ταραγμένου 14ου αιώνα φάνηκαν και στην Παναγιά αφού παρά την άφιξη του ελληνικού πληθυσμού από τα παρακείμενα χωριά, ο πληθυσμός της ήταν 79 οικογένειες το έτος 1466. 
     Τα οθωμανικά αρχεία του έτους 1466 και 1506 αποκαλύπτουν ότι τα ελληνόφωνα χωριά έχουν εξαφανιστεί εξ ολοκλήρου από την Ανατολική Βοιωτία και είναι συγκεντρωμένα γύρω από τον Ελικώνα. Ειδικότερα, από τον 15ο αιώνα και μετά, τα χωριά της βυζαντινής και πρώτης φραγκικής εποχής που εξακολουθούν να υπάρχουν είναι συνήθως ελληνόφωνα. Οι δύο κύριες πόλεις Θήβα και Λειβαδιά είναι επίσης ελληνόφωνες. Οι περισσότεροι Έλληνες αγρότες είναι στα, κατ' ασυνήθιστο τρόπο, μεγάλα χωριά, όπως Άγιος Δημήτριος, Βρασταμίτες και Παναγιά. Η Παναγιά που βρίσκεται μακριά από τον κάμπο, μέσα στην Κοιλάδα των Μουσών, όχι μόνο επιζεί αυτών των τραυμάτων, αλλά φαίνεται να διαμορφώνει και ένα καταφύγιο για τον ελληνικό πληθυσμό της γύρω περιοχής, επεκτεινόμενη στο τέλος της Φραγκοκρατίας σε ένα μεγάλο χωριό περίπου 400 ανθρώπων το έτος 1466 και σε ένα εντυπωσιακά μεγάλο χωριό, περίπου 1100 κατοίκων το έτος 1570. Το τέλος της Φραγκοκρατίας βρίσκει την Κοιλάδα των Μουσών με την Παναγιά και δυο οικισμούς. Στην περιοχή του αδύτου των Μουσών και την πλαγιά επάνω από το νεκροταφείο.