Σε κατσαρόλα βράζουμε το γάλα να κάψει. Προσθέτουμε το σιμιγδάλι ανακατεύοντας συνέχεια να πήξει. Βγάζουμε από τη φωτιά. Χτυπάμε σε μπολ τα αυγά, τη ζάχαρη, τη βανίλια και το ξύσμα πορτοκαλιού. Ρίχνουμε σιγά σιγά στο σιμιγδάλι ανακατεύοντας συνέχεια για να μην κόψει ή κάνει σβολαρακια. Ρίχνουμε μέσα και το βούτυρο και ανακατεύουμε να διαλυθεί.

Βουτυρώνουμε ένα ταψί και απλώνουμε τα μισά φύλλα, βουτυρώνοντας πάντα ανάμεσα. Ρίχνουμε μέσα την κρέμα και διπλώνουμε τα φύλλα που προεξέχουν.

Σκεπάζουμε με τα υπόλοιπα φύλλα βουτυρώνοντας και πάλι ανάμεσα. Χαράζουμε σε κομμάτια αλείφουμε με βούτυρο και ψήνουμε στους 180°C για 25-30 λεπτά.

Ετοιμάζουμε το σιρόπι. Βράζουμε τη ζάχαρη, το νερό, τις φλούδες του λεμονιού για 5 λεπτά. Ρίχνουμε τον χυμό και βράζουμε για 2-3 λεπτά ακόμα. Περιχύνουμε με το σιρόπι το γαλακτομπούρεκο αμέσως μόλις το βγάλουμε από τον φούρνο. Αφήνουμε να κρυώσει, κόβουμε και σερβίρουμε.