Samostan u blizini crkvice, u punoj snazi djelovao je tijekom 12. i 13. st. kao samostalna opatija s vlastitim predstojnikom
Sredinom 11.st svećenik Ivan Gaudijev Grlić iz Splita, sagradio je crkvu sv.Silvestra u povijesnoj jezgri naselja Poje na otoku Biševu. Predao ju na upravljanje benediktincima s otočja Tremiti. Crkva Sv. Silvestra građena je u predromaničkom stilu, ali je njen oblik u kasnijim vjekovima mijenjan.
Benediktinci tada doseljavaju na Biševo i podižu svoj samostan u blizini crkvice, koji je u punoj snazi djelovao tijekom 12. i 13. st. kao samostalna opatija s vlastitim predstojnikom. Nad ostacima je samostana, najvjerojatnije tijekom baroka, nastao omanji građevinski sklop kamenih kuća s vrtom koji zajedno s crkvom čini veoma skladnu povijesnu cjelinu.
U ovoj crkvici sačuvana je jedna od najstarijih slika Bogorodice u Dalmaciji, djelo venecijanskog slikarstva iz 13. stoljeća (1220.) Biševska Madonna. Danas se nalazi u katedrali Sv. Stjepana u gradu Hvaru.
Tijekom prve polovice 13 st. zabilježeno je više darovnica biševskomu samostanu. U jednoj od darovnica uz samostan sv. Silvestra, prvi put se spominje i samostan sv. Nikole, koji je tada samo podružnica biševske opatije.
U drugoj polovici 13 st. redovnici su zbog opasnosti od gusarskih napada premjestili sjedište na Vis u samostan sv. Nikole, tzv. Muster. Poveljom pape Kaliksta III. iz 1458. Biševo se daruje hvarskomu biskupu Tomi Tommasiniju. Tek 1890.g. zemljišne posjede na otoku Biševu otkupili su tamošnji težaci.
U današnje vrijeme, jednom godišnje, na sv.Silvestra, koji je zadnji dan u godini, u crkvi se slavi sv.Misa, nakon čega je prigodna proslava.
Lokacija: Od Komiže do otoka Biševa tijekom sezone, voze dnevni izletnički brodovi. Vožnja traje 15 – tak min.