翁氏故居占地面積廣達6000平方米，總建築面積在3000平方米左右。其建築設計遵循我國古代官紳住宅以中軸為主的形制格局，分東、中、西三大部分。中部由大門進入後，沿中軸線依次為門廳、轎廳、綵衣堂、後堂樓和雙桂軒等，共為七進。其中轎廳為歇轎與備茶之用，綵衣堂為迎賓與舉行婚慶壽慶等禮儀之用，後堂樓與院子為主人及其家人居住生活之用。中軸線建築的東西兩側設有“避弄”走道，以防火災，並作為每逢主人在綵衣堂迎賓時，家中婦孺、仆役出入避開廳堂方便之用。東側避弄即為故居的東部區，該區臨巷開有側門，入門後依次布局有照墻、玉蘭軒、知止齋及小院等，此為主人藏書和書房及接待賓客之所。
西側過避弄為西部區，亦有門臨巷。入門依次布局有思永堂、晉陽書屋、柏古軒、明廳等。曾為翁心存三子翁同爵居所。其間回廊曲折，建築形式豐富多樣，布局因地制宜，變化生動，富有情趣。其西側，昔有桑氏“小南園”園林勝景，顯示了明清江南居住建築布局規謹而又有生動變化的特點。因此，翁氏故居的建築，不僅充分展示了中國古代官紳大族住宅以縱向中軸布局為主，配以左右兩側橫向布局展開為輔的傳統建築格局，而且也反映出江南古代居住建築因地制宜、正中求變、富有居住環境情趣的空間布局美，是國內完整體現明清時期江南名門望族住宅特點的典型代表。
