夏朝时，张掖为西羌地，公元前12年，为西戎所占。公元前221年，游牧民族大月氏在这里放牧。后来被匈奴人赶到了新疆伊犁河流域。公元前121年，霍去病率兵出陇西，过胭脂山，于祁连山下与匈奴决战，打败休屠王、浑邪王，两王请降。
汉武帝公元前111年设张掖郡，十六国时期为北凉国都。隋改张掖县，公元609年隋炀帝于此举办了万国博览会，唐“安史之乱”后被吐蕃所占，公元852年张仪潮收复。五代时为回鹘所占，元灭西夏统一中原，马可·波罗在此逗留了一年。明设甘州卫，清为甘州府。
当年汉武帝给张掖命名的意思是“断匈奴之右臂，张中国之臂掖”，后来匈奴果然一蹶不振，再也没有踏上这片土地。