石鐘山地勢險要，陡峭崢嶸，因控扼長江及鄱陽湖，居高 臨下，進可攻，退可守，號稱“江湖鎖鑰”，自古即為軍事要塞，成為兵家必爭之地。登臨山上，既可遠眺廬山煙雲，又可 近睹江湖清濁。(因為水的密度，高低，流向不同，所以江和湖不會混成一體)如在月色之夜，可謂“湖光影玉壁，長天一月空”。自古以來，文人雅士絡繹不絕來此山賞景。
如唐代李勃， 宋代蘇拭、陸遊，元代文天祥，明代朱元璋，清代曾國藩等。 郭沫若留詩《登湖口石鐘山》於此。石鐘山從唐代起就有建築， 經歷代興廢，現仍存懷蘇亭、半山亭、紺園、船廳、江天一覽 亭、鐘石、極慈禪林、聽濤眺雨軒、蕓芍齋、石鐘洞、同根樹 等景點，但多為清代重建。
清鹹豐八年（1858）彭玉麟等奉上諭建造，是石鐘山的主體建築。祠分前廡後廡，面對江湖，視野開闊。曾國藩、彭玉麟均有記，並手書碑刻，曾、彭等若幹人為祠撰寫的長短聯達百余幅。祠前辟有廣場，祠兩側古樟也是彭玉麟等手植。祠內新創編鐘古樂演奏項目，所用編鐘系按湖北曾侯乙古墓出土編鐘仿制。
