桐江書院系宋乾道年間（公元1165——1173年），由晚唐詩人方幹第八代孫方斫舉資創建，因其祖方幹桐廬人，故以“桐江”為名。1156年，朱熹到仙居時，曾帶兒子（朱埜）到皤灘巡視講學，使之名冠江南，遂號稱“江南第一書院”。
當時書院未建，講學只能在方氏義塾舉行。劉禹錫說：“山不在高，有仙則名；水不在深，有龍則靈。”朱熹在方氏義塾講學的消息傳開後，此地名聲大振，四方學士紛至沓來，這就激發了方斫等誌士在小廟建書院的熱情，8年後，桐江書院以其精巧布局和恢宏的氣勢展現在人們的眼前。自此，來此講學者遊屐翩翩，不知凡幾。
龍翔鳳棲，桃李成蔭。方斫門徒眾多，書院出過狀元、二百多位進士、眾多舉人。南宋樂清人王十朋慕名前來求學，後得中狀元，奉書“東南道學世家”、“理學明崇”兩塊匾額；“萬世宗師”朱熹送子就學並為書院題名書寫“鼎山堂”。從宋朝始，書院便成為江南一帶文化傳播的著名場所，學術先驅，風文鼎盛，被各地賢能雅士奉為理學正統，龍翔鳳棲之地。
