Κόβουμε το κοτόπουλο σε λωρίδες και το βάζουμε στη γάστρα. Βάζουμε μαζί το κρεμμύδι και την πιπεριά σε φετούλες, τις ελιές σε κομματάκια και όλα τα υπόλοιπα υλικά εκτός από τις πένες και τη γραβιέρα. Προσθέτουμε και δύο φλυτζάνια του τσαγιού νερό. Ανακατεύουμε.

Κλείνουμε με το καπάκι και βάζουμε σε προθερμασμένο φούρνο στους 200 βαθμούς στις αντιστάσεις. Το αφήνουμε να ψηθεί για 30 λεπτά. Το βγάζουμε, ρίχνουμε μέσα τις πέννες και ένα φλιτζάνι ζεστό νερό. Ξαναβάζουμε στο φούρνο με κλειστό καπάκι.

Ψήνουμε μέχρι να γίνουν οι πέννες και να έχουν απορροφηθεί τα υγρά. Όσο ψήνονται οι πέννες ανακατεύουμε τακτικά. Λίγο πριν το βγάλουμε από το φούρνο ρίχνουμε τη γραβιέρα σε μικρά κομμάτια.

Ψήνουμε 3-4 λεπτά ακόμη μέχρι να λιώσει η γραβιέρα. Η προσθήκη τριμμενου τυριού στο πιάτο είναι περιττή. Απολαύστε το!