石城形势险要，左右有两山夹峙，南为南木山，北为北木山，西侧为海宁黄湾诸山，东侧为一长达三华里的山谷，只有一条崎岖小径，可供出入，从南北湖边远远望去，大有“一夫当关，万夫莫开”之势，故又有“江南八达岭”之誉，为历代兵家重视。明嘉靖三十二年，海宁卫指挥徐行健率军出谭仙岭，追歼倭寇，大张国威。清顺治三年，反清志士黄宗羲等奉南明政权之命，驻军岭上，计划复明大业。清道光二十四年，巡抚刘韵珂于此建石城，置炮台两座，官厅五间，营房十间，清末渐废，仅存石城。

    1989年海盐县人民政府拨款重修历时四载，形制依旧，计南北长72.4米，东西阔41.3米，高5.7米，城上建楼一座，城内之徐行健将军雕像和点将台，城墙中空可储兵。2000年上半年这座“天下第一小城”经各方面专家的测量、公证评定，确认谈仙石城是目前我国最小的石城，入围上海大世界基尼斯，同年被定为嘉兴市国防教育基地。