胡雪巖故居位於杭州市河坊街、大井巷歷史文化保護區東部的元寶街，建於清同治十一年（1872年）胡雪巖事業的顛峰時期，當時豪宅工程歷時3年，於1875年竣工。落成的故居是一座富有中國傳統建築特色又頗具西方建築風格的美輪美奐的宅第，整個建築南北長東西寬，占地面積10.8畝，建築面積5815平方米。故居無論是從建築還是到室內家具的陳設，用料之考究，堪稱清末中國巨商第一豪宅。
胡雪巖這位創辦了胡慶余堂國藥號，富甲一時的紅頂商人，所建巨宅宅內有十三樓、芝園、亭台樓閣、小橋流水、明廊暗弄，建築構思巧妙，磚雕、木雕、石雕、灰雕無品不精。
經浙江省林業廳及北京相關專家對原有老建築的木料取樣化驗鑒定，發現原有建築均以銀杏木、楠木、酸枝木、紫檀木、南洋杉、中國櫸木等名貴材料來建造。故居當年的確切造價不詳，據說應在50萬兩白銀以上（當年單是堆砌芝園內的假山，據說就耗銀10多萬兩）。
故居內的花園芝園怪石嶙峋、巧奪天工，其中的假山為國內現存最大的人工溶洞。進入故居，那回旋的明廊暗弄、亭台樓閣、庭院天井、峭壁假山、小橋流水、朱扉紫牖、精雕門樓，使人仿佛進入一個大大的迷宮；而百獅樓、鎖春院、怡夏院、洗秋院、融冬院、延碧堂、載福堂、和樂堂、清雅堂無處不奇；木雕、磚雕、石雕、堆塑、彩畫則無品不精。故居內還有董其昌、鄭板橋、唐伯虎、文征明等名家的書法石刻作品，轎廳內的兩頂做工考究的紅木官轎很是值得欣賞一番。
胡雪巖畢竟是個富商，自有富商心理。大門的構築，還能想到“藏而不露”，而門裏則可謂極盡奢華了。胡雪巖故居采用了我國傳統宅第的對稱布局。
經中軸區為待客廳堂，由轎廳、正廳（即百獅樓）、四面廳組成；右邊是居室庭院，由楠木廳、鴛鴦廳、清雅堂、和iy堂、頤夏院、融冬院組成，供成群妻妾居住；左邊是芝園，其間有回廊相連，曲池相通。亭、台、樓、閣，高低錯落，清雅和諧。更有碑廊、紅軍石欄、小橋、水亭，款款用心，步步是景。
