Στο κάδο του μίξερ προσθέτουμε το βούτυρο και το χτυπάμε καλά μέχρι να γίνει κρέμα. Ρίχνουμε τη ζάχαρη και συνεχίζουμε να χτυπάμε μέχρι να λιώσει καλά η ζάχαρη.

Στη συνέχεια προσθέτουμε ένα ένα τα αυγά. Κάθε φορά που προσθέτουμε ένα αυγό το ενσωματώνουμε στο μείγμα και συνεχίζουμε με το επόμενο.

Προσθέτουμε σιγά σιγά το αλεύρι εναλλάξ με το γάλα. Αφήνουμε λίγο αλεύρι για το τέλος.

Στη συνέχεια προσθέτουμε το ξύσμα πορτοκαλιού και το χυμό συνεχίζουμε το ανακάτεμα. Προσθέτουμε το κονιάκ και τέλος το αλεύρι που μας περίσσεψε.

Βουτυρώνουμε καλά μια φόρμα του κέικ και πασπαλίζουμε με λίγο αλεύρι, πεταχτά.

Ψήνουμε σε προθερμασμένο φούρνο στους 170 βαθμούς στις αντιστάσεις για 1 ώρα περίπου.