Πλένουμε καλά το αρνάκι μας και το βάζουμε για μισή ώρα τουλάχιστον στο ξύδι για να φύγει η μυρωδιά του και μετά το ξαναπλένουμε.

Του ρίχνουμε αλάτι, πιπέρι και ρίγανη και με τα χέρια μας το τρίβουμε καλά καλά για να πάνε παντού τα υλικά. Μετά κάνουμε σχισμές στα πιο παχιά κομμάτια του κρέατος και βάζουμε μέσα κομματάκια από το σκόρδο.

Το βάζουμε στο ταψί και ρίχνουμε λάδι από πάνω. Το σκεπάζουμε με αλουμινόχαρτο, ρίχνουμε ένα ποτήρι νερό και το βάζουμε σε προθερμασμένο φούρνο στους 180 βαθμούς για μιάμιση ώρα.

Καθαρίζουμε τις πατάτες και της κόβουμε κυδωνάτες. Τις βάζουμε σε ένα μπολ και προσθέτουμε μια σκελίδα σκόρδο ψιλοκομμένη, τον χυμό πορτοκάλι, αλατοπίπερο και ρίγανη, λίγο ελαιόλαδο και ανακατεύουμε.

Εφόσον έχει περάσει η μιάμιση ώρα βάζουμε και τις πατάτες στο ταψί. Ξεσκεπάζουμε το αρνί και το αφήνουμε να ψηθεί για άλλη μιάμιση ώρα. Όταν το κρέας ροδίσει το γυρνάμε από την άλλη και ρίχνουμε τον χυμό από τα λεμόνια.