Nejstarší období obce je spojováno s loveckým hrádkem, který zde stával již v dobách předhusitských. Později kolem něho vznikala pastevní víska. To byl základ obce, která zde vznikla a nesla název Svrchní Jelení. Pro svoji polohu na kopečku a pro hojnost vysoké jelení zvěře. T eprve později vzniká východně od Svrchního - Horního Jelení druhá vesnička nazvaná Spodní - později Dolní Jelení. Obě obce vytvářely jakýsi jednotný celek, a proto historie obou obcí (a možná již i osady Rousínov) je psána stejnými slovy a neliší se od sebe.
Prvním známým držitelem jelenského panství byl král Jiří z Poděbrad. První zmínka o obcích jelenských je z roku 1495, kdy kupuje jelenské prostory velmož Vilém z Pernštejna, který v okolí založil celou řadu rybníků, z nichž se dodnes zachovaly Pětinoha, Hanzlíkovec a Pecenský.
Kolem roku 1555 bylo Horní Jelení povýšeno na městečko. Rod Pernštejnů drží majetky až do roku 1556, kdy se majitelem panství stává falckrabí na Rýně a solnohradský arcibiskup Arnošt, který v roce 1558 prodává panství Přibíku Benešovi Sekerkovi ze Sedčic. V této době byl na Jelení vystavěn pivovar s chmelnicí.
V roce 1573 kupuje jelenská panství rytíř Heřman Varlich z Bubna a na Skášově. V letech 1600 - 1602 dal na Horním Jelení postavit kostel s dřevěnou zvonicí. Po úpravách v letech 1850 - 1864 se stal významnou kulturní památkou obce. Vedla kostela byla v roce 1698 postavena dřevěná fara, která byla v roce 1823 nahrazena zděnou farou. Roku 1734 se Horní Jelení stává městysem s právem pořádat čtyři roční trhy. V roce 1865 dal hraběcí rod Bubnů na Horním Jelení vystavět jednoduchou jednopatrovou budovu zvanou zámek. Ten však nikdy nebyl trvalým sídlem hraběcího rodu. Bubnové bydleli na zámku v Doudlebách. Jelenský zámek byl centrem hospodářského řízení jelenských statků. V roce 1912 bylo Horní Jelení povýšeno na město a dostalo svůj znak. Historický titul města byl Hornímu Jelení navrácen v roce 2006.