Τον 12ο αιώνα έγινε η ανέγερση του νέου Ναού εκεί όπου είναι και σήμερα ο Ναός στην ιδιοκτησία του οποίου και περιήλθε ο κήπος της Παναγίας.
Στα τέλη του 19ου αιώνα πραγματοποιήθηκαν εργασίες διαμόρφωσης του όλου χώρου με τη δημιουργία πλατείας και ξαναχτισίματος του παλιού καφενείου που ονομάστηκε «Καφενείον η Τερψιθέα». Από τότε ο άρχισε να παίρνει τη μορφή που έχει σήμερα λειτουργώντας ως εξοχικό κέντρο.
Με δωρεές παρακείμενων ακινήτων ο χώρος πήρε και τη μορφή χώρου πολιτιστικών εκδηλώσεων με τη λειτουργία κινηματοθεάτρου από το ιστορικό «Αναγνωστήριο Αγιάσου» αλλά και χειμερινού και θερινού κινηματογράφου. Κι αυτά παράλληλα με τη λειτουργία του χώρου ως τόπος συνάντησης και διασκέδασης.
Σημείο αναφοράς του κήπου της Παναγίας είναι ένας γερο πλάτανος ηλικίας πολλών εκατοντάδων ετών. Γύρω στο 1830 ένας κυκλώνας έσπασε τα ψηλότερα κλαδιά του, στη θέση των οποίων με την πάροδο του χρόνου βλάστησαν άλλα. Τα τελευταία χρόνια ξανάγιναν εργασίες κλαδέματος για να κοπούν τα γερασμένα κλωνιά του.
Στη σκιά των κλαδιών του πλάτανου αυτού αναπαύτηκαν και διασκέδασαν με τους κατοίκους του νησιού Πρωθυπουργοί, βασιλιάδες και Πρόεδροι Δημοκρατίας, Πατριάρχες και άλλοι επώνυμοι. Ας σημειωθεί εδώ ότι η φήμη και η ιστορία του κήπου της Παναγίας δεν άφησε ανεπηρέαστα τα Λεσβιακά Γράμματα και τις Τέχνες αφού έγινε πηγή έμπνευσης για λογοτέχνες, ζωγράφους και λογής καλλιτέχνες.
Αναφέρουμε ενδεικτικά:
Τον πρωθυπουργό της Ελλάδας Ελευθέριο Βενιζέλο που επισκέφτηκε τον Κήπο της Παναγίας στις αρχές Μαΐου του 1915, όπου του παρατέθηκε γεύμα. Το αυτοκίνητο που τον έφερε από τη Μυτιλήνη ήταν το πρώτο που εμφανίστηκε στην Αγιάσο.
