Σε μπολ κοσκινίζουμε το αλεύρι με το μείγμα μπαχαρικών, το μπέικιν πάουντερ, το κακάο και τις βανίλιες. Προσθέτουμε το σιμιγδάλι και ανακατεύουμε με ένα κουτάλι.

Στο μίξερ χτυπάμε τα αυγά με τη ζάχαρη για 6-7 λεπτά μέχρι να φουσκώσουν και να τριπλασιαστούν σε όγκο.

Ρίχνουμε το μείγμα αλευριού και ανακατεύουμε με σπάτουλα με απαλές κινήσεις.

Ρίχνουμε τα καρύδια και το λάδι και ανακατεύουμε απαλά.

Ψήνουμε σε προθερμασμένο φούρνο στη μεσαία σχάρα στους 170° για 45'-50' λεπτά. Το κόβουμε με μαχαίρι σε μπακλαβαδωτά κομμάτια και αφήνουμε να κρυώσει τελείως.

Για το σιρόπι:
Σε κατσαρόλα βάζουμε το νερό, τη ζάχαρη, τη φλούδα λεμονιού και βράζουμε σε μέτρια φωτιά για 4 λεπτά (από την ώρα που αρχίζει ο βρασμός). Ρίχνουμε το χυμό λεμονιού και βράζουμε για 1 λεπτό ακόμα. Κατεβάζουμε από τη φωτιά και ανακατεύουμε μέσα το κονιάκ. Αφήνουμε να κρυώσει για 10 λεπτά.

Σιροπιάζουμε το κρύο γλυκό με το χλιαρό σιρόπι ρίχνοντας το λίγο λίγο με ένα κουτάλι. Αφήνουμε να κρυώσει τελείως.