汉光武帝刘秀梦鹿建寺后,鹿门神祠逐渐成为四方大众求神消灾的场所。西晋时,鹿门神祠被皇家赐名为万寿禅寺。到唐代,鹿门寺的禅学影响与洛阳白马寺、杭州灵隐寺、长安法门寺等齐名。宋代时,鹿门寺再次被列为皇家寺院,是鹿门寺发展的鼎盛时期。 史载宋政和年间,法灯禅师奉旨住持鹿门寺,建有佛殿、僧寮、方丈室等数百间,有僧侣五百余人,“闻风受教者千里支集,一时香火不断”。以后迭有建殿,明清以后逐渐衰落。1946年,国民党军因构筑工事而将鹿门寺拆毁殆尽。现在的鹿门寺系1992年重建。
清代末年,襄阳县志载有鹿门寺图画,为二进院落,山门一间,前殿三间,均为单檐山式;后殿五间为重檐歇山式。寺院环以围廊墙垣。现有建筑占地面积约2500平方米。基本仿照清代寺庙图所建。
鹿门寺庙的大门,由一对石鹿护持,右雄左雌,其造型完全按东汉初年习郁所刻神鹿而制(习郁所造神鹿已碎成六块,不能复原,现仍残存于鹿门山)。大门正上方匾牌上“鹿门寺”三个遒劲大字,为赵朴初所题。
进入寺门,迎面是天王殿,天王正殿塑弥勒佛坐像,其背后是佛教护法神韦驮造像,两边分别为四大天王。
穿过天王殿,拾级而上,大雄宝殿巍然耸立。宝殿正门上方高悬两副匾额,一为赵朴初老人所题竖匾“大雄宝殿”,一为当代佛门泰斗本焕老和尚所题横匾“佛光普照”。
寺庙中现有十八尊罗汉,有的面容慈善,有的面相威严。据说平时重善修德的人,看到的罗汉都是万般慈祥;平时思想时好时坏行为不检点的人,看到的罗汉都是凶相,故会大吃一惊而幡然醒悟;平时修养时好时坏的,看到的罗汉时善时凶。