Καθαρίζουμε τα ροδάκινα, τα κόβουμε σε χοντρές φέτες περίπου ενός εκατοστού και τα βάζουμε σε ένα μπολ με λίγο νερό και το χυμό ενός λεμονιού.

Σε ένα ορθογώνιο ταψί αρκετά μεγάλο βάζουμε το 1/4 φλ. βούτηρο. Σε προθερμασμένο φούρνο στους 170 βαθμούς τοποθετούμε το ταψί με το βούτηρο για 5 λεπτά μέχρι να λοιώσει το βούτυρο.

Βγάζουμε το ταψί από το φούρνο και πασπαλίζουμε με τη μαύρη ή καστανή ζάχαρη να ανακατευτούν καλά.

Στρώνουμε από πάνω τις φέτες ροδάκινου σε όλη την επιφάνεια του ταψιού. Το αφήνουμε στην άκρη.

Σε ένα μικρό μπολ ανακατεύουμε το αλεύρι με το μπέικιν και το αλάτι. Σε ένα άλλο μπολ πιο μεγάλο χτυπάμε το υπόλοιπο βούτηρο. Προσθέτουμε στο βούτηρο τη ζάχαρη τη κρυσταλλική και χτυπάμε με το σύρμα καλά. Στη συνέχεια προσθέτουμε στο μείγμα το αυγό, τη βανίλια και το ξύσμα λεμονιού. Προσθέτουμε εναλλάξ σε 2 δώσεις το γάλα με τα αλεύρια. Ανακατεύουμε μέχρι να έχουμε ομοιογενές μείγμα.

Περιχύνουμε το προυγούμενο μείγμα πάνω από τα ροδάκινα και ψήνουμε για 50 περίπου λεπτά στους 170 βαθμούς.

Αφήνουμε λίγο να σταθεί το ταψί και ανάποδογυρίζουμε σε μεγύτερο ταψί.