东胜市境在夏代为熏育部落活动的地区。商代为方、鬼方等部族的游牧之地。到西周时成为狁之牧境。春秋初期被林胡等部族占据。秦昭王三十五年后（公元前272年后），为防御北方民族的南侵，秦国修筑了从临洮（今甘肃岷县）经今市境潮脑梁乡中部到榆中（今准格尔旗十二连城）的长城，今市境长城以东为秦国上郡，长城以西属楼烦、白羊游牧之地。秦始皇三十二年（公元前215年），始皇派大将蒙恬领兵30万，北击匈奴，占据河南地，今市境全部属秦上郡。秦末，匈奴又复南下，今市境为匈奴驻牧地。汉元朔二年（公元前127年），武帝派将军卫青、李息等击败匈奴、楼烦、白羊等部族，今市境归汉所辖。汉元朔四年（公元前125年），汉设西河郡，今市境属西河郡辖地。东汉建武五年（公元29年），卢芳占据五原、朔方、云中、定襄、雁门等郡，今市境属其所辖。建武十六年（公元40年），卢芳北逃匈奴，今市境复归东汉西河郡。建武二十年（公元44年），南匈奴投靠汉王朝，并进入西河郡。东汉永和五年（公元140年），西河郡治所由平定迁至离石，今市境成为南匈奴牧地。晋元康五年（公元295年），鲜卑族拓跋猗卢出兵击败匈奴，今市境被拓跋部所据。晋永嘉四年（公元310年），铁弗刘虎部由晋北迁居境内，并归附汉（前赵），今市境成为前赵辖地。后赵石勒元年（公元319年），今市境属后赵朔州地；但由于后赵势力较弱，经常遭到前赵的攻打袭击，境内便成为前赵和后赵征战的战场。秦（前秦）甘露元年后（公元359年后），铁弗部酋长刘卫辰即位后，向晋、前秦分别称臣。前秦建元元年（公元365年），秦苻坚封刘卫辰为夏阳公，今市境为前秦所辖。北魏登国六年（公元391年），今市境归北魏所辖，后为后秦辖地。夏龙升元年（公元407年），今市境为赫连勃勃大夏幽州代来城辖地。北魏始光四年（公元427年），魏太武帝拓跋焘发兵攻克大夏国，今市境复归北魏统辖。北魏太和十一年（公元487年），北魏置夏州，今市境属夏州化政郡。北魏永熙三年（公元534年），北魏分裂为东魏和西魏，今市境属西魏夏州化政郡。北周孝闵帝元年（公元557年），西魏被北周取代，今市境属北周夏州弘化郡。隋开皇三年（公元583年），隋置榆关总管，境内属其管辖。隋开皇七年（公元587年），隋设置榆林县，今市境东部为云州榆林县辖地。隋开皇十年（公元590年），隋又设置富昌县，今市境为云州富昌县所辖。隋开皇二十年（公元600年），隋划云州的榆林、富昌、金河3县设置胜州，今市境属胜州富昌县。隋大业三年（公元607年），隋改胜州为榆林郡，今市境属榆林郡富昌县。隋义宁元年至唐贞观二年（公元617～628年），今市境先后为郭子和、梁师都所据。唐贞观三年（公元629年），唐王朝打败梁师都后，仍置胜州，今市境大部属胜州，西部一小部属夏州。唐天宝元年（公元742年），唐将胜州改为榆林郡，辖榆林、河滨2县，今市境属河滨县。唐乾元元年（公元758年）唐将榆林郡复改为胜州，今市境属胜州河滨县。契丹（辽）神册元年（公元916年），契丹打败振武军，将胜州居民迁往黄河以东，胜州被废弃，今市境东部归契丹所有。同时，在黄河东岸今托克托县大皇城地设州治，因治所在原胜州以东，故名东胜州，隶西京道，“东胜”之名遂始于此，但今市境当时不属东胜州。宋景德二年（公元1005年），平夏部党项族首领李德明与宋和好，被宋真宗赵恒封为定难军节度使、西平王，今市境西部属于党项领有的夏州。辽重熙十八年（公元1049年），辽征西夏，设立河清军，今市境东部隶属于辽，西部隶属于西夏。西夏元德八年（公元1126年），今市境全部为西夏所据。蒙古（元）太祖二十一年（公元1226年），成吉思汗亲自率军征伐西夏，今市境为蒙古辖地。元至元八年（公元1271年），蒙古改国号为元，今市境属元中书省河东山西道宣慰司大同路东胜州。明朝取代元朝后，于明洪武四年（公元1371年）正月废东胜州置东胜卫，隶大同行都指使司。东胜卫领5个千户所，今市境属五花城千户所。明洪武二十五年（公元1392年）八月，分置东胜左、右、中、前、后5卫，次年二月并5卫为左、右2卫，今市境为东胜右卫辖地。明永乐元年（公元1403年），今市境被蒙古部所据，东胜右卫城迁至遵化县。明正统元年（公元1436年），今市境复为明所辖。正统三年（公元1438年）九月，明复置东胜卫。明景泰二年（公元1451年）至明崇祯年间，蒙古鞑靼孛来、毛里孩、阿罗出、火筛、鄂尔多斯等部先后驻牧今市境。后金（清）天聪九年（公元1635年），鄂尔多斯济农额璘臣与后金订立盟约，归顺后金，今市境为后金藩属地。清顺治六年（公元1649年），清廷分鄂尔多斯部为6旗，自成1盟，为伊克昭盟。今市境大部属鄂尔多斯左翼中旗（郡王旗）牧地，添尔漫梁、塔拉壕两乡的北部及潮脑梁乡属鄂尔多斯左翼后旗（达拉特旗）牧地。

清光绪三十年（公元1904年）后，牧地大多放垦，陕西、山西汉民大量迁居境内。清光绪三十三年（公元1907年）三月，清廷批准设置管理郡王、札萨克两旗垦地汉民事务的东胜厅，为口外十二厅之一，隶山西归绥道。清光绪三十四年（公元1908年）正月，东胜厅设立抚民理事府，寄治于包头镇，同年九月在境内罕台庙设立公所。清宣统三年（公元1911年）年底，辛亥革命暴发后，山西革命军占领包头镇，将包头镇、东胜厅、五原厅合为包东州，不久又重新分设。

民国元年（公元1912年）5月，东胜厅改置东胜县，隶山西归绥观察使，县治寄包头文曲巷广生店。境内蒙古族仍归原属各旗管理，这种蒙不归县汉不属旗的政策一直沿续到1949年。民国3年（公元1914年）晋绥分治，建绥远特别行政区，东胜县归其所辖。民国4年（公元1915年），县治由包头移驻境内羊场壕所建衙署（今东胜城区蒙医研究所附近），因土匪的侵扰，于民国5年（公元1916年）县治再度寄设于包头。民国17年（公元1928年），绥远特别行政区改设绥远省，东胜县归绥远省直辖。民国19年（公元1930年），县治由包头移驻县境陶油坊（今伊金霍洛旗纳林陶亥乡境内）。民国20年（公元1931年），在羊场壕旧衙署处建成县城，县治移驻城内。民国28年（公元1939年），东胜县隶属绥远省第三区行政督察专员公署管辖，1949年随绥远“九·一九”起义和平解放。

1949年12月，东胜县由绥远省直辖县改归绥远省伊克昭盟所辖。1954年，绥远省并入内蒙古自治区，东胜县属内蒙古自治区伊克昭盟领导。1983年10月10日，国务院批准，撤销东胜县，设立东胜市（县级），仍归伊克昭盟领导。1984年1月1日正式撤县设市。