赵用贤宅是明代赵用贤及其子孙居住的宅第，始建于明代嘉靖时期。据史志记载，赵用贤为明隆庆五年（1571）进士，官至吏部侍郎，卒后赠礼部尚书。其子琦美，以父荫历官刑部郎中，父子皆喜藏书，为隆庆、万历间著名藏书家，书房曰“脉望馆”，取意《仙经》：“蠹鱼三食神仙字则化为此物”。

　　此宅坐南朝北，原有轴线三组，左右二组已毁，今存为主轴，占地面积约1400平方米。宅内大木构架、梁枋彩画、雕花柱础、雕花踢脚砖和丁字斗拱等均为明代原物,具有较高的建筑艺术价值。

　　赵宅现存建筑为轴线房屋一组，总面积约400余平方米。门屋3间，前檐斗拱出挑，阑额施有彩绘；大厅四椽栿及平梁皆作月梁，三幅云、荷叶磴、梁垫、翼形拱等浮雕装饰，图案多变，线条饱满。后堂用木，明间有柱，梁架施彩绘。东厢房的三开间书厅即为著名的赵氏藏书室——脉望馆；馆内置落地长窗，前设天井，小而精巧，院中有明代湖石。

　　在主轴线的东侧，靠大厅，有书厅三间，为脉望馆。原明代建筑早废，后于清代中叶重建，面阔三间，通面阔7．2米，通进深6．95米、檐柱高3.75米，抬梁式结构，明间为2.9米，两次间各2．15米。内金柱之间距为3.4米，作卷棚形，靠南前加一步架廊1.2米，靠北施船篷轩，用月梁形，进深2．35米。今靠南格扇俱全，惟“脉望馆”匾额于1966年后被毁，庭中原有湖石山子一座，及小池一弘，今已湮废。

　　赵用贤宅、钱谦益的绛云楼及毛晋的汲古阁齐名，都为中国古代藏书史上具有极高地位的江南著名藏书楼，有着重要的历史文化及艺术价值。2006年赵用贤宅作为明代的古建筑，被国务院列入第六批全国重点文物保护单位。