相传北方的大雁因惧怕塞外的凛冽的寒风，便成群结队往南迁徙，它们飞越千山万水，来到这块气候温和，风景秀丽的地方，安营扎寨、停歇栖息，待到来年春暖花开，又结队北归。这个地方就是历史的文化名城--雁城衡阳。“雁阵惊寒，声断衡阳之浦”，这是王勃的名句。“万里衡阳雁，寻常到此回”，这是王安石的句子。“衡阳雁去无留意”，这是范仲淹的名句。大雁作为一道独特的文化景观，频频出现在有关衡阳的诗句中。城南的回雁峰，虽然高不足百米，但登上峰顶，整座城市尽收眼底。因其为南岳七十二峰之首，天气晴好的时候，北望南岳主峰亦依稀可见，所以被称为南岳第一峰。关于回雁峰名称的来由，一种说法是因位于南北气候分界处而得名：传说时届凉秋，北雁南迁，至此停翅，待到来年春天再回去。古人碍于见识局限的说法，却得到了历代文人墨客的认同。还有一种说法是回雁峰拔地而起，势如飞雁回翔，因形状之奇而得名。不知从何时起，衡阳被人们称为“雁城”。
城西南有回雁峰，为南岳七十二峰之一。衡阳八景之一“雁峰烟雨实堪夸”，回雁峰北麓的烟雨池，传说每逢天将下雨，雾气腾起，状如云烟。其实烟雨池不过是一个小小的水池，里面稀稀疏疏的开着些睡莲。池畔的山崖上刻着明代诗人陈宗契的句子：青天七十二芙蓉，回雁南来第一峰。其时，山下的夹竹桃开得正好。按明朝图式复建的上达牌坊就在这一片花树的后头，上山登高须从此起步。绿色的琉璃瓦，拱形的山门，上刻麒麟吐须，狮子戏球，二龙戏珠，丹凤朝阳。拱门上的“上达”二字，相传是雁峰寺一烧火和尚用烧火棍所书。背后是民国初年衡阳书法家蒋钤衡的笔迹“莫作等闲观”，意在告诉人们莫要小看回雁峰，山不在高，有仙则名。峰上有雁峰寺为江南名寺，香火鼎盛。据史料记载，梁武帝天鉴十二年，宏宣法师建寺于此，梁武帝萧衍亲自赐名“乘云禅寺”。隋代为雁峰寺，唐代改名为山门寺，明清重建寿佛殿、大雄宝殿、大悲阁，梵宇森然，人称活佛道场。山上茂林修竹，清幽怡人。历代文人墨客如杜甫、柳宗元、徐霞客慕名而来。清代大学者王夫之也出生在这里，后来在此成就其思想体系。
衡阳市历史悠久，根据出土文物考察，五六千年前，我们的祖先就使用石器等原始工具，在衡阳这片土地上种植水稻，饲养猪、牛，过着定居的生活。
衡阳地域古属三苗、杨越，春秋时属楚国。
公元前221年，秦始皇统一全国将原楚国南部分为黔中、长沙两郡，长沙郡包括衡阳地域。
公元220年，孙吴于长沙郡东南设置湘东郡，郡治设在今酃县；并于长沙郡西部设衡阳郡，郡治设在今湘乡，下辖蒸阳（今衡阳县）、重安（今衡南县）、湘南、湘西（今衡山、衡东、南岳区）、湘乡、益阳等县。这是历史上第一次出现以衡阳命名的郡。
公元589年，隋灭陈，改郡为州，废湘东、衡阳郡，设衡州，将临蒸改为衡阳县，州城、县城均在今江东岸。这是历史上第一次出现衡阳县。
1942年元旦，衡阳市正式建市。
1943年衡阳市改为省辖市。
1949年衡阳全境解放之后，仍是市县并存。
衡阳位于湖南省中南部，湘江中游。地处东经110o32′16-113o16′32，北纬26o07′0527o27′24。东邻株洲、攸县、安仁；南界永兴、桂阳；西接冷水滩、祁阳、东安、邵阳、邵东；北靠双峰、湘潭。南北长150公里、东西宽173公里。
衡阳市总面积15310平方公里。合153。10万公顷，按地形分，山地占总面积的21%，丘陵占27%，岗地占27%，平原占21%，水面占4%，总面积占全省土地面积7。23%，在全省各市、州中，幅员位居第7位。
衡阳市处于湖南省凹形面的轴带部分。周围环绕着古老宕层形成断续环带的岭脊山地，内镶大面积白垩系和下第三系红层的红色丘陵台地，构成典型的盆地形势。衡阳盆地南高北低。整个盆地南面地势较高，1000米以上的山中东西连绵数十公里，而盆地北面相对偏低，衡山山脉虽较高，但各峰呈峰林状屹立于中间，其东西两侧都有较低的向北通道，其东侧的湘江河谷两岸海拔高度均在100米以下。整个地形由西南向东北复合倾斜，而盆地由四周向中部降低，呈现1000米，800-700米、400-300米、150米四级夷为平面。
地貌类型以岗丘为主。四周山、丘围绕，中部平、岗丘交错。东部为罗霄山余脉天光山、四方山、园明坳；南部为南岭余脉塔山、大义山、天门仙、景峰坳；西部为越城岭的延伸熊罴岭、四明山、腾云岭；西北部、北部为大云山、九峰山和南岳衡山。中部大面积分布白垩系和第三系红层，构成衡阳盆地的主体，面积3550平方公里。南部山峰大多在海拔600米以上，最高是常宁的天堂山，海拔1265米。西部山峰多在海拔500米以上，最高是祁东县的腾云岭，海拔1044米。东北部除南岳衡山外，一般地面高程在海拔300米-500米。市境最高点为衡山祝融峰，海拔1290米，最低点为衡东的彭陂港，海拔只有39。2米。整个地形比降为7。9‰。地貌类型以岗丘为主，山地占总面积的21%，丘陵占27%，岗地占27%平原占21%，水面占4%。
境内有河长5公里或流域面积10平方公里以上的江河溪流393条，总境长达8355公里，河网密度为每平方公里0。55公里。发源于广西兴安的湘江干流，自祁东归阳镇入境，依次流经祁东县、衡南县、常宁市、市区、衡阳县、衡山县和衡东县，境内长226公里。境内流域面积在3000平方公里以上的湘江一级支流有舂陵水，蒸水，耒水、米水。
1942年元旦，在中国城市群体中，增加了一个新的行政区域单位——衡阳市。衡阳市的诞生，标志着历史文化名城——衡州迈向新的历史征程，对于衡阳地区乃至湘南的政治、经济、文化的发展，具有深远的、巨大的意义。新建的衡阳市将以自己雄健的步伐，对此作出深刻的有力的回答。
1941年12月，经国民党中央执行委员会批准，以衡阳督察区治、衡阳县城为主体，析衡阳县城郊成立衡阳市。市区总面积269。47平方公里，城区面积12。3平方公里。湘江由南向北穿流市区，耒水注于城南，蒸水汇于城北；京广铁路穿行与江东，湘桂铁路横贯于城南。背依南岳衡山，南面五岭群峰，西连黔滇，北通鄂豫，是为南楚重镇。
衡阳山川形胜，人文荟萃，自古称为“寰中佳丽”。市区有“雁峰烟雨”、“石鼓江山”、“朱陵诗洞”、“花药春溪”、“岳屏雪岭”、“青草酒家”、“东洲桃浪”、“西湖白莲”八景。有诗为证：“雁峰烟雨实堪夸，石鼓江山锦绣华。朱陵洞内诗千首，青草桥头酒百家。花药春溪龙现爪，岳屏雪岭鸟喧哗。试看东洲桃浪暖，西湖夜放白莲花。”
位于城南的回雁峰，为南岳72峰之首，四季景色宜人，春日花香鸟语，夏日林荫遮阳，秋日观江如练，冬日佩玉着银。相传北雁到此不再南飞。故唐王勃说：“雁阵惊寒，声断衡阳之浦”；宋范仲淹说：“塞下秋来风景异，衡阳雁去无留意”。
佛教胜地南岳衡山，为天下五岳之一，丛林遍布，峰高林密，风景独秀。“祝融峰之高，方广寺之深，藏经殿之秀，水莲洞之奇”，是为南岳“四绝”。
市辖之耒阳乃世界四大发明——造纸术发明家蔡伦的故里。耒阳城关有纪念蔡伦的祠、墓。衡阳县曲兰乡有明末清初伟大的思想家、爱国主义者王夫之隐居著述的“湘西草堂”。历史上，衡阳名人如璀璨的群星，光照千古。蒋宛、刘巴相蜀，史传佳话；李芾抗元，忠烈千秋；彭玉麟刚介绝俗，光前裕后。进入近代，唐群英、刘道一、谢彬等杰出人物垂载史册。著名的革命烈士夏明翰的“砍头不要紧，只要主义真；杀了夏明翰，还有后来人”的就义诗，气贯长虹，成为推翻旧世界的进军号角。杰出的无产阶级革命家罗荣桓元帅，为中国人民的解放事业和祖国建设鞠躬尽瘁，功垂寰宇。 衡阳建市时，正值烽火连天的抗日战争的第5个年头。当是时，处在日本帝国主义铁蹄践踏下的华北和华东人民，为了免遭侵略者的迫害和屠戮，纷纷举家连族，携资南迁。衡阳地处湘南腹地，交通发达，因而成为人们蜂涌而至的避难地。市内人口聚增至45万人。湘江两岸，店铺林立，工厂遍布。全国四大银行，或迁衡阳，或在衡阳设立分行代办机构。湘江西岸的中山南北路，百货、布匹、日杂、副食、五金、电讯器材和建筑材料等商场、商店6000多家。从上海、南京、杭州、宁波等沿海城市迁来的机械、化工、纺织等中型工厂100多家，工人4万多人。到1943年底，全市工商业达8000多户，单银行就有32家，金店35家，钱庄200多家。商业总额3000亿元（法币，下同）；工业总产值达18亿多元。一时间，有“小上海”之称的衡阳市东尽闽浙之利，南列粤桂之珍，西连滇黔，北达洞庭，市场繁荣，工厂兴旺盛，铁路、公路、水运畅通，文化教育发达，呈现出一派畸形的虚假繁华。入夜，城区大街小巷，灯红酒绿，歌舞升平。人们又鉴于其奢华，又将衡阳称为“小南京”。真正是“商女不知亡国恨，隔江尤唱《后庭花》”！