大善寺位于南岳古鎮北支街。該寺始建于南北朝，為陳慧思禪師唱道之地，后毀。唐初重建，宋元時興廢情況不明。明崇禎7年（1644）毀于火。清初，寺址、菜地變成民產，至光緒21年（1895）冬，默庵、淡云和尚與居士王哲堂、饒少甫等捐資贖回，后兩年（1897）重修并擴建。重建后有山門、天王殿、偏殿、大雄寶殿、藏經閣、方丈室、寮房、庫房、齋堂等大小房屋40余間，建筑面積達三千多平方米。捐置香火田租108擔。寺成，公推默庵為住持，常住僧人60—90人，為清代南岳佛教圣地叢林之一。

寺內原有明桂王所舍大銅鐘一口，藏經一部。清光緒26年（1900）于菜地挖出玉佛一尊，均流失。今尚存宋寶慶年間（1225—1227）石制長形水缸一口，上刻“古春”二字，其長2.9米、寬0.6米、高0.66米。

新中國成立后，廟宇被南岳機關占為辦公用房和干部宿舍。僧人轉移其他寺廟，佛像、法器轉存華嚴寺，文化大革命中，佛像、法具蕩然無存，八十年代這里是圖書館和武術學校，把一所叢林搞得面貌全非。黨的十一屆三中全會后，將廟宇退還給南岳佛教協會管理，南岳佛教協會的領導經過多次討論研究，決定對這座廟宇全部徹底大維修，并確定副會長慈煢法師專管此廟，經過三年的維修和兩年的擴建，現有天王殿、地藏殿（偏殿）、韋馱殿、大雄寶殿、禪堂、齋堂、客堂、寮房、方丈室、藏經樓、香積廚、鍋爐房、廁所、叢林住房等共有房舍100多間，建筑面積達4000多平方米，恢復了叢林制度，為南岳五大叢林之一，大善寺現在超過了歷史最盛時期的規模，成為南岳最重要的寺廟之一。