Eremitaž ( Samostan pustinjaka) je osnovan 1487, od popa Nikole Barbete.
Do konca 16 stoljeća, U Kompleksu Eremitage zajedno sa crkvom Sv. Jerolima zive pustinjaci i časne sestre, glagolijaši,( pučki redovnici koji mole i propovijedaju na Hrvatskom jeziku. Pretpostavlja se da je samostan u 17 stoljeću napušten, a danasnji Eremitaž postaje Lazaret za brodove u karanteni koji su čekali dozvolu za za pristanak u starogradsku luku. (Natpis nad nekadasnjim istočnim ulazom "Questa e casa per li viadanti" Ovo je kuća za putnike to potvrdjuje.

U to vrijeme se izmedju Crkvice sv. Jerolima i Mlina - Vjetrenjače na suprotnoj strani, natezao lanac koji je priječio ulazak u luku. Crkvica sv. Jerolima nad ulaznim vratima ima srdenjovjekovni reljef sa sv. Jerolima s lavovima u pustinji, a iznad natpis na srednjovjekovnom Talijanskom jeziku ... Prije nego uđes u ovo svetište pomiri se sa bratom svojim.
S morske strane crkvice, u nisi je "Gospa zaštitnica Mornara", reljef iz 15 stoljeća.