安徽省的雏形可以追溯到清朝康熙六年（公元1667年），当时取名为“安徽”，合并了安庆和徽州两个府的名字，最初，安徽布政使司驻地设在江宁（现在的南京），直到乾隆25年（1766年）才迁移至安庆，太平天国运动期间，1853年安庆被占据，省会暂时转移至庐州府治合肥市，战乱平息后，省会又于1862年迁回安庆。
到了民国时期，由于连年战事，省会多次变动，如1914年袁世凯任命倪思冲为安徽督军时，其官邸设在蚌埠，而1925年至1927年间，北京政府的部分机构也曾短暂驻扎在蚌埠，随着抗日战争爆发，1938年，省会迁移到了六安，接着在战况变化中又迁移至大别山区的立煌县（现金寨县），直到1945年抗日战争胜利，省会才迁回合肥，随着内战局势的发展，1948年省会又回到安庆，随后转移到芜湖，最后在1949年2月，随着解放军的推进，迁至屯溪。
在共产党领导下，1949年2月，中共华东局宣布安徽省委、省人民政府将在解放后的合肥成立，随着战事进展，4月，安徽的行政管理被划分成皖北行署和皖南行署，分别在合肥和屯溪建立，1951年底，这两个行署开始在合肥共同运作，准备合并成立安徽省人民政府，1952年8月，经中央人民政府批准，撤销皖南、皖北行署，正式成立了安徽省人民政府，省会定址合肥，自此，合肥正式成为安徽省的永久省会。
合肥，古称庐州，有着悠久的历史，自东汉末年起就是江淮地区的行政中心和军事要塞，被誉为“淮右襟喉，江南唇齿”，历史上，合肥一直是商业繁华和军事争夺的重要地点，如西汉时期的大型市场，以及近代的多位重要人物如李鸿章、段祺瑞、卫立煌等人的故乡，1928年，蒋介石曾来合肥考察，而毛泽东主席也在1958年访问了这座城市。
新中国成立初期，合肥还只是一个人口不到五万的小县城，且地理位置并不靠近主要的水运通道——长江和淮河，交通相对闭塞，考虑到国家发展的长远规划，以及合肥的战略地位，最终在1958年，毛泽东主席确认合肥作为省会的地位，结束了关于省会选址的争议。
如今，合肥已经发展成为一个现代化的城市，不仅在科技、教育等领域取得了显著成就，而且在经济发展上也扮演着重要角色，充分体现了当初选择它作为省会的远见卓识。