倪宗正，字本端，号小野。弘治十八年考中进士，选翰林院庶吉士。官至武选员外郎，后调至广东南雄任知府。颇有政绩，死后赠学士，谥文忠。一生工诗善书，王阳明曾赞其诗文逼近陶渊明和杜甫。倪宗正留下的著作有《谢文正公年谱》、《易说丰实集》、《小野集》、《观海集》、《太仓集》、《突兀集》等多种。

　　清晖佳气楼坐北朝南，硬山重檐，通面阔9米，分三间，通进深10.22米，明间为抬梁式梁架结构，用九檩、五柱。该楼用材较小，结构尚完整，部分构件损坏腐朽较多。尚存的“清晖佳气楼”木匾，传为王阳明先生所书赠。在楼前的庭院中立有一碑，上镌：“明万历三年，礼部侍郎倪文节故里，知余姚县李时成立。”

　　据《光绪余姚县志·古迹》篇载，谢迁、冯兰、王守仁等曾题诗歌咏清晖佳气楼。王守仁诗云：“经组世泽著南州，地接蓬莱近斗牛。意气元龙高百尺，文章司马壮千秋。先几入奏功名盛，未老投簪物望优。三十年来同出处，清晖楼对瑞云楼。”

　　清晖佳气楼于1997年3月19日由余姚市人民政府公布为市级文物保护单位。