Στο μίξερ κτυπάμε το βούτυρο με την ζάχαρη. Προσθέτουμε ένα ένα τα αυγά και την αμυγδαλόψυχα τριμμένη. Ανακατεύουμε το αλεύρι με το σιμιγδάλι και το μπέικιν. Το μείγμα το ρίχνουμε στον κάδο του μίξερ, μαζί με το γάλα κατά διαστήματα. Ανακατεύουμε καλά και βάζουμε το μείγμα σε κεραμικό ταψάκι, σε προθερμασμένο φούρνο στους 180 βαθμούς για 45 λεπτά.

Για το σιρόπι, βράζουμε το νερό με την ζάχαρη και την κανέλα και την φλούδα του λεμονιού. Κατά το τέλος προσθέτουμε το λεμόνι. Αφήνουμε το σιρόπι να γίνει χλιαρό και βγάζουμε τα μυρωδικά. Το περιχύνουμε στον χαλβά μόλις τον βγάλουμε από τον φούρνο.