揚州八怪紀念館是宣揚和弘揚揚州八怪藝術成就的專業紀念館。揚州八怪紀念館東鄰揚州繁華的文昌商業圈，西接著名的揚州蜀岡風景區，是利用“揚州八怪”之一金農曾寄居的西方寺古建築群而建。
東西廊房陳列有揚州八怪書畫，表現每位書畫家的個性創作；金農寄居的方丈室恢復原貌，展現金農晚年創作生活的情境；精品陳列室陳列“揚州八怪”傳人李亞如的畫作精品；近六十幅的“揚州八怪”書畫刻石，再現中國傳統碑刻的神韻。“千年銀杏”、“鶴池窺冰”、“蓮池映月”和“竹泉幽境”等。
現存古建築明代的楠木大殿，今辟為主展廳。大殿構架多為楠木制成，其梁架很有特色。大殿內彩繪在揚州地區少見，因揚州梁架都精於雕鏤，少施彩繪，但大殿內卻遍施彩繪於梁架之上，甚至不用藻井，而以五彩遍裝，從僅存的小片彩繪分明看出，梁檁枋的彩繪為宋代風格。
