Προθερμαίνουμε τον φούρνο στους 170 βαθμούς πάνω κάτω και τοποθετούμε την σχάρα του φούρνου στην δεύτερη θέση από κάτω.

Σ’ ένα μπολ αναμειγνύουμε το αλεύρι, το μπεικιν, τη σόδα, τη ρίγανη, το αλάτι, και σε άλλο μπολ το ελαιόλαδο, τα αυγά, το γιαούρτι. Ρίχνουμε τα υγρά στο μπολ με το αλεύρι και με μια κουτάλα ανακατεύουμε τόσο ώστε να αναμειχτούν καλά τα υλικά. Αν το μείγμα είναι πολύ σφιχτό ρίξτε λίγο γάλα. Στη συνέχεια προσθέτουμε τις ελιές και την φέτα ή το ανθότυρο σε κυβάκια, ανακατεύοντας ελαφρά.

Αλείβουμε τις φόρμες για muffins με βούτυρο ή τοποθετούμε χαρτάκια στις θήκες και μοιράζουμε το μείγμα περίπου στα 2/3 και λίγο παραπάνω. Ψήνουμε για 30’, αν τα μάφινς είναι μεγάλα, και 20’ αν κάνουμε μικρά.