Před zhruba milionem let byla na místě dnešního Kilimandžára pouze mírně zvlněná pláň s několika sopečnými vrcholky a Velkou příkopovou propadlinou. K zásadnímu zlomu došlo asi před 750 000 lety, kdy začala sopečná aktivita a vytvořila se tři hlavní centra. Jejich aktivita trvala téměř 250 000 let. Západní část (Shira) se propadla, později utichla i sopka Mawenzi. Poslední obrovská exploze centrálního kráteru Kibo nastala před asi 360 000 lety, kdy láva zaplnila vyhaslý kráter Shira. Poté došlo pouze k menším výbuchům. Zatím les a alpínská vegetace stoupaly po svazích vzhůru a potoky tvarovaly úbočí do dnešní podoby. Ráz Kilimandžára dále dotvářejí další činitelé, například vodní eroze, působení ledu či sněhu. Zdá se však, že ledovec z Kilimandžára, stejně jako z Mt. Kenya, postupně ubývá.

První zmínku bychom našli ve spisech alexandrijského zeměpisce a astronoma Ptolemaia, později se o "velké sněhové hoře" dozvídáme i od čínských obchodníků asi ve 14. století. První Evropan, který se setkal s Kilimandžárem byl křesťanský misionář Johann Rebmann v roce 1848. Po neúspěšných pokusech několika dobrodruhů byl prvním Evropanem, který dosáhl nejvyššího vrcholku, německý profesor geologie Hans Meyer v říjnu roku 1889.

Původ názvu nejvyšší africké hory není zcela jistý. Většina spekulantů se kloní k názoru, že jméno vzniklo ze dvou částí – "kilima" a "njaro". "Kilima" nejspíše pochází se svahilského slova "mlima" (=hora), "ki" je předpona, která naznačuje zmenšení předmětu. Výrazem "ngare" Masajové označovali zdroj vody, z toho se později mohlo vyvinout "njaro", jedním s vysvětlení může být také slovo "njaro" z jazyka původních obyvatel Kichagga, což v překladu znamená "démon přinášející zimu".