Ξεκινάμε από τη ζύμη. Χτυπάμε τη ζάχαρη με το ελαιόλαδο. Προσθέτουμε τα αυγά και χτυπάμε ξανά. Έπειτα ρίχνουμε το κονιάκ και τις βανίλιες και χτυπάμε λίγο ακόμη να ενωθούν. Ρίχνουμε τα 3 φλυτζάνια αλεύρι και το μπέικιν πάουντερ και ζυμώνουμε. Θέλουμε μια ζύμη μαλακιά και εύπλαστη. Αν χρειάζεται προσθέτουμε λίγο αλεύρι ακόμη. Όχι όμως πολύ, να μη μας βγεί σφιχτή η ζύμη. Τυλίγουμε τη ζύμη σε μεμβράνη και αφήνουμε στην άκρη.

Φτιάχνουμε την κρέμα. Σε αλουμινένια ή αντικολλητική κατσαρόλα βάζουμε μαζί το γάλα, τη ζάχαρη, το σιμιγδάλι, το βούτυρο και τις βανίλιες. Βάζουμε στη φωτιά και ανακατεύουμε συνεχώς μέχρι να πήξει. Κατεβάζουμε από τη φωτιά και αφήνουμε λίγο να ηρεμήσει. Σε ένα πιάτο χτυπάμε τα αυγά και τα ρίχνουμε σιγά σιγά στην κρέμα ανακατεύοντας γρήγορα. Αφήνουμε την κρέμα στην άκρη ανακατεύοντας κάθε τόσο για να μην κάνει κρούστα.

Τακτοποιούμε το φύλλο στο ταψί, αφήνουμε να είναι αρκετά σηκωμένη η ζύμη στα πλαϊνά και κόβουμε όσο φύλλο περισσεύει έξω. Επαναλαμβάνουμε με την υπόλοιπη ζύμη και το δεύτερο ταψί.

Ρίχνουμε την κρέμα πάνω από τη ζύμη μοιράζοντας την ισόποσα. Πασπαλίζουμε από πάνω με καστανή ζάχαρη.

Αφού έρθει σε θερμοκρασία δωματίου σκεπάζουμε με αλουμινόχαρτο και βάζουμε στο ψυγείο. Απολαύστε αυτό το υπέροχο γλυκό!