Augustiáni kláštor opustili v roku 1463 a presídlili na ostrovy v čase tureckých nájazdov. Objekt sa stal majetkom františkánskeho rádu (získali ho darom od tunajšej šľachtickej rodiny Jurjević-Vladkovičových). Františkáni kláštor opravili, pristavali nové krídla a vybavili ho množstvom umeleckých predmetov. Predovšetkým kláštorný kostol, zasvätený Nanebovzatiu P. Márie (Velika Gospa).
V 17. storočí bol pokladaný za jeden z najkrajších na celom tunajšom pobreží, najmä bol obdivovaný jeho rajský dvor. Kláštor sa stal od polovice 17. storočia dôležitým kultúrnym a osvetovým centrom. Jedným z najvýznamnejších pamätníkov kultúry vypovedajúci o kultúrnej úrovni kláštora tej doby je kamenný nadpis napísaný v chorvátskom jazyku a písme (bosančice) z r. 1589, ktorý vidíme nad hlavným vchodom do kostola. Kláštor v Zaostrogu bol v tej dobe svätyňou, ktorá bola uznávaným, posvätným mariánskym miestom.
Po dobu 500 rokov jeho existencie tu bola škola pre kňazov. Ešte v čase tureckej moci r. 1640 tu bola všeobecná a humanistická škola, neskôr systém vzdelávania od gymnázia po filozofiu a bohoslovectvo. Kláštor vlastní bohatú knižnicu s asi 20 000 zväzkami a bohatý archívny fond. Pôsobilo tu mnoho významných osobností chorvátskej kultúry a histórie. Napr. Andrija Kačić Miošić, chorvátsky básnik, spisovateľ a filozof, pôvodom z blízkeho Bristu (r. 1704 - zomrel v Zaostrogu), Ivan Despot (1886), chorvátsky spisovateľ a básnik. A. K. Miošić - užíval pseudonym "Starec Milovan", v kláštore Zaostrog vyštudoval, vstúpil do františkánskeho rádu, vytvoril všetky svoje literárne diela, zomrel tu a je tu aj pochovaný.
K videniu sú tu obrazy jedného z najznámejších živých chorvátskych maliarov, Mladena Vež pochádzajúceho tiež z Bristu. Uložené sú tu aj etnologické a etnografické zbierky (sedliacky nábytok, náradie a ľudové kroje) pochádzajúce z okolia. Za zmienku stojí i botanická záhrada s cca 250 druhmi rastlín.
