Ετοιμάζουμε και κόβουμε τα υλικά και τα βάζουμε στην άκρη. Σε μικρό μπολ ανακατεύουμε με ένα πιρούνι το ελαιόλαδο, ξύδι, ρίγανη και αλατοπίπερο και το βάζουμε στην άκρη μαζί με τα άλλα υλικά.

Βράζουμε τις πέννες σε αλατισμένο νερό. Βράζουμε λίγα λεπτά ποιο πολύ από τη λένε η οδηγίες. Τις στραγγίζουμε και της ξεπλένουμε καλά με κρύο νερό. Τις στραγγίζουμε για περίπου 10 με 15 λεπτά και τις βάζουμε σε ένα μεγάλο μπολ.

Ρίχνουμε όλα τα υλικά εκτός από την φέτα και ανακατεύουμε καλά με της πέννες. Σπάσουμε την φέτα με τα δάχτυλα ή την κόβουμε σε μικρούς κύβους και την ρίχνουμε στο μπολ και ξανά ανακατεύουμε ελαφρά. Σκεπάζουμε και την βάζουμε στο ψυγείο για περίπου 3 με 4 ώρες για να κρυώσει καλά. Μπορείτε να την φτιάξετε και από την προηγούμενη βραδιά εάν θέλετε αλλά κατά την δική μου γνώμη, ποιο καλά να την φτιάξετε την ίδια μέρα. Πριν σερβίρουμε την ανακατεύουμε ελαφρά διότι το λάδι κατασταλάξει στο πατώ.