镇海楼旧名朝天门，吴越王钱氏建。规石为门，上架危楼。楼基垒石高四丈四尺，东西五十六步，南北半之。左右石级登楼，楼连基高十有一丈。元至正中，改拱北楼。明洪武八年，更名来远楼，后以字画不祥，乃更名镇海。火于成化十年，再造于嘉靖三十五年，是年九月又火，总制胡宗宪重建。楼成，进幕士徐渭曰：“是当记，子为我草。”草就以进，公赏之，曰：“闻子久侨矣。”趋召掌计，廪银之两百二十为秀才庐。渭谢侈不敢。公曰：“我愧晋公，子于是文，乃遂能愧湜，倘用福先寺事数字以责我酬，我其薄矣，何侈为！” 渭感公语，乃拜赐持归。尽橐中卖文物如公数，买城东南地十亩，有屋二十有二间，小池二，以鱼以荷；木之类，果木材三种，凡数十株；长篱亘亩，护以枸杞，外有竹数十个，笋迸云。客至，网鱼烧笋，佐以落果，醉而咏歌。始屋陈而无次，稍序新之，遂领其堂曰“酬字” 题记：镇海楼原来叫朝天门，为五代时的吴越王修建。楼基很高由石头砌成。后来多次改名，元代至正年间改称拱北楼：明代洪武八年又改称来远楼：后来又觉得这个名字不祥，又改名字叫镇海楼。此后多次为大火所烧。直到在嘉靖年间，总制胡宗宪重建，楼成之后，由当时的江南名士徐渭写了一篇《镇海楼记》。当时的徐渭日子过得还很穷，竟然没有自己房子。《镇海楼记》因为受到胡宗宪的喜爱，才赐给一些银两，在西湖边上盖了一处住所。由此可见，楼虽然不知修了多少次，但真正需要银子的人却大有人在。