Σε δύο βαζάκια ανακατεύουμε το ελαιόλαδο, το χυμό λεμονιού και πορτοκαλιού,το σκόρδο, τη μουστάρδα,τη ρίγανη και αλατοπίπερο. Κλείνουμε το καπάκι και χτυπάμε καλά να ομογενοποιηθούν τα υλικά. Το ένα βαζάκι για το κατσίκι και το άλλο για τις πατάτες.

Σε ταψί στρωμένο με αντικολλητικό χαρτί ψησίματος βάζουμε το κατσίκι κομμάτια και περιχύνουμε με τη μαρινάδα να πάει παντού. Πασπαλίζουμε με φρέσκια ρίγανη και γαρνίρουμε με το λεμόνι και το πορτοκάλι. Κλείνουμε καλά το κατσίκι στο χαρτί σαν πακέτο με σπάγγο που δεν καίγεται να μείνουν τα αρώματα και η υγρασία.