1573 vyhořel konvent a oheň zničil všechny písemnosti kláštera. Další rána následovala roku 1586, kdy veškerý tehdejší pozemkový majetek augustiniánů uchvátil utrakvistický majitel panství Petr ze Švamberka. I přes silně omezený tok klášterních příjmů se však augustiniánům v roce 1595 podařilo částečně obnovit sešlé stavby. Obyvatelé okolí, většinou protestantského vyznání, projevovali ke klášterní komunitě stále větší nepřátelství, které vyvrcholilo roku 1606 zastřelením představeného kláštera Kašpara Malesia. Přesto řeholníci v Pivoni vydrželi. Léta potom 1595 kněz Kašpar Malesius rodem z Opole, klášter ten právě z gruntu vystavěl, a což bylo odňato, zase k němu přivlastnil,“ píše klášterní kronikář Pabrocius.

1619 daly stavy klášter i panství vdově po Petrovi Švamberkovi Anně Maximiliáně; po bělohorské bitvě byl majetek klášteru vrácen vítězným císařem Ferdinandem II. Roku 1641 vyplenili Švédové klášter i s okolím a zůstali zde deset měsíců. V roce 1648 se Švédové objevili znovu, řeholníci se zachránili útěkem do Bavor, klášter ale musel zaplatit velké výpalné. Nelze doložit, kdy přesně byla poté zahájena obnova kláštera, ale nepochybně již roku 1666 stálo křídlo s refektářem. V té době se do čela konventu dostal P. Hyacinthus Langauff, nejprve jako vikář a o dvě léta později již jako převor. Tento úřad zastával 18 let a během své vlády věnoval značnou pozornost výstavbě kláštera. Postavil nový refektář s dlouhým traktem a horní cely. Jeho nástupcem od roku 1686 byl po šest let P. Alipius Ernst, pod jehož vedením došlo k významné přestavbě chrámu Panny Marie. Řeholníci pořídili chór s monumentálními varhanami a rovněž množství vyřezávaných lavic. V roce 1696 byl zřízen hlavní oltář, pod nímž je uložen památný pařez, na němž seděl podle pověsti kníže Břetislav v době bitvy. V roce 1686 byla přestavěna loď kostela. Dále ho rozšířila a celý slohově sjednotila raně barokní přestavba. Portál kostela však nese datum až 1691 a má výraznou raně barokní podobu s roztrženým frontonem.

Po 700 letech, v letech 1740 až 1747, se snažil pivoňský převor Cyriak Votava toto slavné jubileum oslavit důstojným způsobem. Sedm let měla trvat tato velkolepá slavnost. Měla sem chodit procesí ze všech koutů země české i moravské a konat se zde slavné poutě. V klášterním kostele byl hrob blahoslaveného poustevníka Kolmana. Pro nastávající slavnosti bylo však třeba získat nové ostatky svatých… To uznával sám provinciál řádu Michael Mareš, neboť s těžkým srdcem pozoroval, že úcta klatovské Panny Marie, šířená klatovskými jezuity, pomalu, ale jistě zastiňuje Pivoňku. Měla-li se znovu obrátiti pozornost poutníků ke klášteru zapadlému v hlubokých lesích, mohlo to zmoci jen svaté tělo některého mučedníka, nebo mučednice Páně, nadané zázračnou mocí a silou. A tak se stalo, že provinciálu Marešovi se podařilo přivézt tělo mučednice Faustiny i s povolením, že může být veřejně vystaveno a uctíváno. (Dodejme, že Faustina je jméno latinské, její svátek připadal na 18. ledna a v češtině Faustina znamená ŠŤASTNÁ.) Zpráva o ostatcích svaté Faustiny se bleskem rozlétla po celém kraji, a tak zdaleka široka se hrnuli poutníci na Pivoň. Jednotlivci i průvody se hrnuli do kláštera, kde na oltáři ve skleněné rakvi odpočívalo tělo světice, ozdobené květinami vyrobenými ze stříbra, zlatých drátků a filigránového skla. Slavnosti trvaly sedm let, ale končily vždy několikatýdenní zimní přestávkou, aby mohly být ozdoby kolem těla svatě Faustiny obnoveny. Vyvrcholením oslav byl vždy svátek navštívení Panny Marie. Klášter Pivoňský byl v tu dobu na vrcholu rozkvětu.

V další etapě (1733 za převora P. Cyriaka Votavy) byla postavena nová chodba a sakristie, stejně jako zadní trakt kláštera, kanceláře a roku 1756 pivovar. V roce 1783 bylo v klášteře 17 kněží, 12 studujících a 5 bratrů laiků. Studující dokončovali svá studia nikoliv v klášteře, nýbrž na pražské universitě a bydleli u Sv. Tomáše. V klášteře mělo také sídlo Bratrstvo Sv. Šebastiána a Arcibratrstvo Utěšující Matky Boží. Klášter měl povolení udělovat plnomocné odpustky.

V roce 1843 koupili někdejší konvent Thun-Hohensteinové a roku 1863 získal statek Pivoň hrabě František Coudenhove a spojil jej s Poběžovicemi. V roce 1918 byla v konventu umístěna česká menšinová škola a policejní stanice s byty úředníků.

Po roce 1945 v někdejším klášteře sídlila armáda, později vojska ministerstva vnitra. Prostředky, vynakládané na údržbu kláštera, byly prakticky nulové. Poté, kdy budovy připadly státnímu statku, došlo k tak rozsáhlé devastaci bývalého kláštera, že předčila devastaci husitskou i švédskou.