Prvním sídlem, jež se nacházelo na území dnešního Clermont-Ferrandu (klermon feránu), bylo galské oppidum. Během 1. století po Kristu, poté co region ovládla římská vojska, bylo město na počest římského vládce Augusta přejmenováno na Augustonemetum. Byl zde vybudován akvadukt a řada dalších veřejných staveb. Ve druhém století bylo Augustonemetum pulsující velkoměsto s více než 30 tisíci obyvatel. Těžké časy pro město nastaly během raného středověku, kdy bylo několikrát obléháno Franky, Saracény a Vikingy. V 10. Století zde nechal biskup Etienne II. postavit katedrálu, čímž odstartoval novou éru ekonomického oživení. V té době bylo také město, tehdy známé jako Clermont, obehnáno mohutnými hradbami. Ve 12. století však začala Clermontu růst konkurence v podobě Montferrandu založeného hrabaty z Auvergne v reakci na vzrůstající moc clermontského biskupství. Jejich rivalita trvala až do roku 1630, kdy byl Montferrand připojen k svému nenáviděnému sousedovi, čímž vzniklo souměstí s novým názvem Clermont-Ferrand.

Starobylé centrum města je postavené na nevýrazném pahorku, který je pozůstatkem bývalé sopky. Černý vulkanický kámen, v minulosti hlavní stavební materiál, dává starému městu nádech tajemna. Je z něj postavena i gotická katedrála Notre-Dame-de l'Assomption pocházející ze 13. století. Uvnitř naleznete několik unikátních středověkých fresek. Kousek od katedrály se nachází románská bazilika Notre-Dame-du-Port. Právě zde vyhlásil r. 1095 papež Urban II první křížovou výpravu. Basilika byla postavena v 11 st. na místě původního kostela (6. st.), který byl zničen Normany. Je krásným příkladem románské architektury v Auvergne, a proto byla zapsána na seznam světového kulturního dědictví UNESCO.