Διαλύουμε τη μαγιά στο νερό καλά και προσθέτουμε τη ζάχαρη και το αλάτι και το ελαιόλαδο και το αφήνουμε κάπου ζεστά για μισή ώρα.

Σε μια λεκανίτσα βάζουμε το αλεύρι και κάνουμε μια λακκούβα.
Ρίχνουμε μέσα το μείγμα που βάλαμε στην άκρη και ζυμώνουμε καλά. Όταν δούμε πως δεν κολλάει το βάζουμε πάλι σε ζεστό μέρος να φουσκώσει σκεπασμένο με πετσέτα για άλλη μισή ώρα.

Εγώ το κάνω σε δύο μακρόστενες φόρμες, βάζω λαδόκολλα και αρχίζω να κόβω μπαλάκια στο μέγεθος καρυδιού και αρχίζω να χτίζω το ελαιόψωμο ρίχνοντας κατά βούληση της ελιές και τις πιπεριές.

Στο τέλος το λαδώνουμε από πάνω και αφήνουμε να φουσκώσει σε ζεστό μέρος.

Ψήνουμε για 20 λεπτά στους 220 βαθμούς.