Προθερμαίνουμε το φούρνο στους 180° C στη λειτουργία του αέρα. Σε ένα μικρό μπολ ανακατεύουμε το σκόρδο με το ξύσμα λεμονιού και τη μισή ποσότητα από το θυμάρι.

Σε μια μεγάλη γάστρα ή σε ταψί βάζουμε το αρνί και με ένα μικρό και μυτερό μαχαιράκι ανοίγουμε μικρές σχισμές στο κρέας και μπήγουμε μέσα τα φετάκια σκόρδου με το ξύσμα και το θυμάρι. Βάζουμε στη γάστρα και τις πατάτες, αλατοπιπερώνουμε και πασπαλίζουμε με τη ρίγανη. Σε ένα μικρό μπολ ανακατεύουμε το ελαιόλαδο με τη μουστάρδα, το λεμόνι και το κρασί και περιχύνουμε το φαγητό.

Σκεπάζουμε τη γάστρα με το καπάκι ή, αν έχουμε χρησιμοποιήσει ταψί, με λαδόκολλα και αλουμινόχαρτο και ψήνουμε για περίπου 2 ώρες ή μέχρι να μαλακώσει το κρέας.

Ξεσκεπάζουμε το σκεύος, πασπαλίζουμε με το υπόλοιπο θυμάρι, ανακατεύουμε απαλά τις πατάτες, γυρίζουμε τα κομμάτια του κρέατος και συνεχίζουμε το ψήσιμο για περίπου άλλα 20 λεπτά, μέχρι να ροδίσουν καλά και οι πατάτες και το αρνί.