Η ευνοϊκή εικόνα του 1570 δεν επιζεί το 17ο αιώνα, όταν αρχίζει η αδυσώπητη πτώση της αυτοκρατορίας. Η πειρατεία και η αβεβαιότητα άλλη μια φορά αναγκάζουν πολλούς χωρικούς να εγκαταλείψουν τα ορεινά χωριά τους και να εγκατασταθούν στα πεδινά της ανατολικής Βοιωτίας. Με την ανάδειξη και ενίσχυση των σχέσεων του οθωμανικού κράτους με τη Δύση, ο αγροτικός χώρος της αυτοκρατορίας που βρισκόταν ήδη στην φάση της παρακμής με την υπογραφή των πρώτων συμφωνιών (διομολογήσεις) με τις δυτικοευρωπαϊκές χώρες, μετατράπηκε σε εξάρτημα και τροφοδότη των οικονομιών της δυτικής Ευρώπης. 
     Την περίοδο αυτή αρχίζει να κυριαρχεί ο κάτοχος μεγάλης έκτασης γαιών, ο τσιφλικάς, που ήταν φορέας της επιβολής του συστήματος της μονοκαλλιέργειας στην αγροτική παραγωγή. Ο νεώτερου τύπου τσιφλικάς προσα-νατολιζόταν τώρα, προς το εξωτερικό εμπόριο και γι' αυτό ήταν πιο απαιτητικός και σκληρός απ' ότι ο προκάτοχός του. Όπως υποστηρίζεται, το τσιφλίκι αποτέλεσε ένα φαινόμενο, που στηρίχθηκε στη ριζική κατάργηση κάθε παραδοσιακής σχέσης και της επιβολής της αρχής της απόλυτης ατομικής ιδιοκτησίας.
     Η γενική αυτή πολιτική, οικονομική και στρατιωτική διακοπή του οθωμανικού συστήματος, από το δέκατο έβδομο αιώνα, δηλαδή η έναρξη της λαϊκής οθωμανικής πρόωρης σύγχρονης περιόδου, οδήγησε τα ελληνικά εδάφη, σε μια δραστική μείωση των χωριών που ευημερούσαν, στη μείωση του πληθυσμού και στην αύξηση της δουλείας, ενώ πολλά ακμάζοντα ελεύθερα χωριά υφίστανται διαμελισμό στα τσιφλίκια ως δουλοπάροικοι. Τα προηγούμενα προβλήματα φαίνονται να εξηγούν την ε-γκατάλειψη του Νεοχωρίου και τη σύνθεση του Ερημοκάστρου. Όταν οι πρώτοι περιηγητές, όπως ο Jacob Spoon και ο George Wheler επισκέφτηκαν την Βοιωτία, προς το τέλος του 17ου αιώνα, ο αριθμός οικογενειών 16 χωριών της Βοιωτίας είχε ελαττωθεί δραστικά από 1.591 στο έτος 1570 μόνο 742 σε 1688.
     Όταν λοιπόν στο 17ο αιώνα ο κεφαλικός φόρος διπλασιάστηκε ή ακόμα και τριπλασιάστηκε και ο δυτικός ανταγωνισμός έφερε την οθωμανική παραγωγή κλωστοϋ-φαντουργικών σε κίνδυνο, η Παναγιά ήταν στα πρόθυρα κατάρρευσης. Δεν ξέρουμε τον ακριβή λόγο (ασθένεια, τοπική σύγκρουση, υπερβολική φορολόγηση ή εξάντληση από τη γη, ή όλοι οι παράγοντες μαζί). Ο κατάλογος του έτους 1642 έχει 50 οικογένειες υπόχρεες πληρωμής κεφαλικού φόρου. Εάν προσθέσουμε 20 με 25 μη καταχωρημένες (φτωχές) οικογένειες φθάνουμε σε 60-65 οικογένειες. Εάν οι Έλληνες κάτοικοι του χωριού είχαν φύγει ή απλά είχαν μειώσει το οικογενειακό μέγεθός τους, κάτω από τέσσερα μέλη ανά οικογένεια (που γερνάει και πεθαίνει έτσι ο πληθυσμός), δεν είναι γνωστό. Η τελευταία αναφερθείσα δυνατότητα φαίνεται να είναι η πλέον πιθανή αιτία διότι κατά τη διάρκεια του μεγαλύτερου μέρους του 16ου αιώνα ο πληθυσμός του χωριού είχε παραμείνει στάσιμος. Οπωσδήποτε όμως η εκκένωση της Παναγιάς (Επισκοπή) έγινε βίαια.
     Η Παναγιά δέχεται και το τελευταίο χτύπημα, με το χωρισμό των κατοίκων της σε δώδεκα τσιφλίκια. Το έτος 1642 έχει απομείνει το ⅓ του πληθυσμού και παραμένουν λιγότεροι από 335 κάτοικοι. Οι κάτοικοι αυτοί, σε σαφή σχέση με αυτήν την καταστροφική αποσύνδεση, μετακινούνται ένα χιλιόμετρο ανατολικά από την περιοχή Επισκοπής στην κατεύθυνση της ανοικτής κοιλάδας, στη σημερινή θέση του χωριού.
     Το Ερημόκαστρο ενώ δεν φαίνεται σαν χωριό από το τέλος της φραγκικής περιόδου μέχρι τα μέσα του 17ου αιώνα, περιλαμβάνεται στα οθωμανικά αρχεία του έτους 1642 σαν Ερημόκαστρο και με ελληνικό πληθυσμό, την εποχή μάλιστα που ο πληθυσμός της Παναγιάς έχει μειωθεί κατά τα ⅔ αυτού του έτους 1570. Οπωσδήποτε τούτο σχετίζεται με την Παναγιά, το Νεοχώρι και το Λεοντάρι, αφού από το έτος 1466 εμφανίζεται το χωριό Zogra Kobili (Κασκαβέλι – Λεοντάρι) και την ίδια περίοδο συνεχίζει να υπάρχει το βυζαντινό και φραγκικό Παλαιονεοχώρι αλλά σαν Νεοχώρι και με πληθυσμό αγνώστου εθνικότητος. Ίσως να πρόκειται για ελληνικό πληθυσμό ανακατεμένο με κάποιους Σλάβους, με τα υπολείμματα των Φράγκων της περιοχής και πιθανόν κάποιους Αρβανίτες. Το Νεοχώρι δεν αναφέρεται πλέον από τα αρχεία του 1642 και έπειτα. Από το γεγονός ότι το 1682 ο Wheler αναφέρει τον πληθυσμό του Ερημοκάστρου από Έλληνες, Αρβανίτες και κάποιους Τούρκους, λογικά θα μπορούσε να υποθέσει κανείς ότι οι σύγχρονες Θεσπιές προέρχονται από την Παναγιά, το Νεοχώρι και το Λεοντάρι.
     Εδώ τίθεται το ερώτημα, γιατί αυτή η καρατόμηση της Παναγιάς, του μόνου Ελληνικού χωριού μετά την Θήβα; Είδαμε ότι το ⅓ περίπου του πληθυσμού μεταστάθμευσε στη σημερινή θέση, όπως προκύπτει και από τους φορολογικούς καταλόγους του έτους 1687. Κάποιος αριθμός οικογενειών πρέπει να κινήθηκε στο Ερημόκαστρο και το υπόλοιπο των οικογενειών πρέπει να διαμοιράσθηκε στα τσιφλίκια. Αλλά πού ήταν αυτά; και γιατί σε τόσα πολλά; Μήπως οι μετακινήσεις αυτές έγιναν προς κάποια αρβανιτοχώρια; Εάν έτσι έχουν τα πράγματα, τότε οι Ελληνόφωνοι της Παναγιάς επέστρεψαν στα χωριά τους και αποτέλεσαν τον πυρήνα εξελληνισμού των χωριών αυτών. Τούτο μπορεί να δικαιολογήσει την ανάμειξη των επιθέτων σε μία εποχή όπου η επικοινωνία δεν ήταν καθόλου εύκολη. Σε κάθε περίπτωση το θέμα είναι προς σπουδή.
     Η μεγάλη πλειοψηφία των κεραμικών που καταγράφηκαν στην περιοχή Επισκοπής από το 13ο μέχρι τον 17ο αιώνα, δείχνει την πυκνότητα της Παναγιάς στην υπόψη περίοδο. Από τα ευρήματα αυτά επιβεβαιώνεται ότι την ακμή του 1570, ακολουθεί μια περίοδος συστολής και τελικά η πλήρης εγκατάλειψη του χωριού μέχρι το τέλος του δέκατου έβδομου αιώνα.

Σημερινή Θέση
     Το έτος 1676 οι Jacob Spoon και ο George Wheler, δεν κατέγραψαν στα τέλη του 17ου αιώνα, την ύπαρξη του χωριού στη σημερινή θέση, ενώ για την περιοχή της Παναγιάς σημείωσαν: «ένας παλαιός πύργος με τα υπολείμματα μιας πόλης για το, επάνω σε ένα υψηλό σημείο ενός βράχου, μέρος κάποιου λόφου, αποκαλούμενο τώρα μόνο Παναγιά». Φαίνεται ότι την περίοδο αυτή γινόταν η μετακίνηση του χωριού για να ολοκληρωθεί σταδιακά το 1687/8 αφού είναι καταχωρημένη στους Οθωμανικούς καταλόγους του έτους αυτού. Η αλλαγή στον τόπο εγκατάστασης από την Παναγιά στη θέση της σημερινής Άσκρης, θα μπορούσε να εξηγήσει την παντελή έλλειψη αγγειοπλαστικής στην περιοχή Επισκοπής κατά τον 18ο και 19ο αιώνα. Σε αυτή τη νέα περιοχή η Παναγιά πήρε την ονομασία «Παλαιοπαναγιά».
     Το όνομα «Παλαιοπαναγιά» οφείλεται προφανώς στη συνέχεια του προηγουμένου της Επισκοπής (Παναγιά). Δεν γνωρίζουμε αν ενοριακός ναός του χωριού είναι κάποια κατεδαφισμένη σήμερα εκκλησία ή ο παλαιός ναός της Κοιμήσεως της Θεοτόκου, ο σημερινός Άγιος Βλάσιος, όπου και το νεκροταφείο. Αργότερα, το 1870 κτίσθηκε ο σημερινός ναός της Κοιμήσεως της Θεοτόκου. 
     Ο πληθυσμός του χωριού και στη σημερινή θέση ήταν βέβαια κυρίαρχα ελληνικός. Η καθομιλούμενη γλώσσα ήταν αναμφίβολα η ελληνική. Δεν υπάρχουν στοιχεία για χρησιμοποίηση και αρβανίτικων αυτή την περίοδο. Εάν έχουν αρχίσει να ομιλούνται, τούτο πιθανόν να οφείλεται στην εισαγωγή νυφών προς το κεφαλοχώρι που ήταν τότε η Παλαιοπαναγιά, είτε στην άφιξη κάποιας ή κάποιων οικογενειών από τα γειτονικά αρβανίτικα χωριά, χωρίς τούτο να σημαίνει ότι ήσαν οπωσδήποτε αλβανικής προελεύσεως. 
     Οπωσδήποτε οι οινέμποροι και οι μυλωνάδες πρέπει να χρησιμοποιούσαν τη γλώσσα των πελατών τους Αρβανιτών, για ευνόητους λόγους. Σε κάθε όμως περίπτωση δια-τηρήθηκε ακεραία η ελληνική παράδοση, ανεξάρτητα από το αν υπήρχε ή όχι ελληνικό σχολείο στο χωριό. Στο νέο τόπο το χωριό επέζησε αλλά πήρε μέχρι τον 20ο αιώνα, για να έχει πάλι τον ίδιο αριθμό κατοίκων που είχε κατά τη διάρκεια της αιχμής του στον ακμάζοντα 16ο αιώνα (1896 ..195 οικογένειες, 1928, 314).
     Δεν έχουμε μέχρι τώρα τις συγκεκριμένες αρχαιολογικές ή ιστορικές πληροφορίες για την τελευταία οθωμανική εποχή του 18ου αιώνα, ούτε από τους δυτικούς ταξιδιώτες, ούτε από τα κεραμικά ευρήματα, αλλά ούτε και από τα οθωμανικά αρχεία που αναφέρουν τώρα τα σύνολα κατά τσιφλίκι. Όλα όμως φαίνονται να προτείνουν έναν βαθμό αποκατάστασης πέρα από τα δραματικά αποτελέσματα της κρίσης του 17ου αιώνα.
     Ένα μακροπρόθεσμο πρόγραμμα της μελέτης στη Βοιωτία, που εστιάζεται στην παραδοσιακή ιδιωτική κατοικία, δείχνει ότι από τον 17ο αιώνα τα περισσότερα χωριά, και τα αρβανίτικα και τα ελληνικά στην προέλευση, ήταν μονόχωρα ή μακρινάρια, μονόπατα μεγάλα σπίτια για την οικογένεια και την αποθήκη, με προσανατολισμό συχνά βορρά-νότου με ήσυχους υπαίθριους χώρους και εσωτερικό δροσερό. Κατασκευάζονται όμως και καινούργια σπίτια, κατά βάση δίπατα, από πέτρα με θολωτές πόρτες, παράθυρα και μπαλκόνια, χαρακτηριστικά στοιχεία της Οθωμανικής πε-ριόδου. Τα δομικά υλικά είναι από τοπικά καμίνια και κεραμοποιία, ενώ οι πέτρες λαξεύονται με πολύ όμορφο τρόπο. Για την κατασκευή της στέγης χρησιμοποιούνται ζευκτά τα οποία μεταφέρονται από τον Ελικώνα, τα λεγόμενα «πατερά». Ανάλογη, από ξύλα του Ελικώνα, ήταν και η κατασκευή των κουφωμάτων και των πατωμάτων. Το πέτρινο σπίτι γίνεται πιο απλόχωρο, δίχωρο ή και τρίχωρο, με γύρω το στάβλο και το φούρνο
     Με τη μεταστάθμευσή του το χωριό έπαψε να είναι κρυμμένο στην Κοιλάδα των Μουσών και οι αγροτικές του εκτάσεις επεκτάθηκαν ανατολικά. Στη νέα θέση υπάρχει αρκετό νερό που επιτρέπει τη διάνοιξη πηγαδιού σε κάθε τετραγωνικό οικόπεδο των πρώτων οικογενειών, καθώς και την τήρηση κήπων σε πολύ γόνιμο έδαφος με δένδρα και τα απαραίτητα λαχανικά. Σταδιακά αναζωπυρώθηκαν οι καλλιέργειες του χωριού και αυξήθηκε ο πληθυσμός, ώστε το έτος 1828 ο αριθμός των οικογενειών να φθάσει τις 93.