Ανάβουμε τον φούρνο στους 200 βαθμούς. Σε ένα μπώλ αναμιγνύουμε το ελαιόλαδο, το λεμόνι, τη μουστάρδα, την ρίγανη, το αλάτι και το πιπέρι. Τα χτυπάμε με το σύρμα.

Καθαρίζουμε και πλένουμε τις πατάτες. Τις ρίχνουμε στο ταψί, και αλατοπιπερώνουμε. Χαράζουμε το αρνί και βάζουμε εκεί το σκόρδο. Το τοποθετούμε στο ταψί με τις πατάτες και αλατοπιπερώνουμε.

Από πάνω περιχύνουμε με το μείγμα, που έχουμε στο μπώλ. Προσθέτουμε και το νερό. Σκεπάζουμε με αλουμινόχαρτο, και ψήνουμε, στους 200 βαθμούς, για 1 ώρα. Μετά χαμηλώνουμε την φωτιά, και ψήνουμε για άλλη μια ώρα μεχρι να ψηθεί το κρέας, να ροδίσει.