此院因垂花门刻有“桂馥”二字而得名。建于明万历十七（1589）年，是南宅子的主要建筑群。由正厅、倒座、东西厢房围合而成，是主人的居住之所。正厅坐南向北，面阔五间，悬山土木结构，威仪古朴，柱粗廊宽，直棂隔扇，雕刻精美，前后均设门，可穿堂入后院，正厅是供家里的主人或年长者居住，也是会见重要客人的场所。
　　与正厅对面的是清代重修的倒座，用来接见一般客人和供仆人休息的房屋。东西厢房晚辈居住。院落有游廊连接，起居十分方便。
　　院内种植连翘、丁香等象征吉祥、如意、兴旺、发达、富贵、长寿的花草树木。现民俗博物馆将其布置为祝寿、胡氏家族简介和婚庆展室。