夏朝時，張掖為西羌地，西元前12年，為西戎所占。西元前221年，遊牧民族大月氏在這裏放牧。後來被匈奴人趕到了新疆伊黎河流域。西元前121年，霍去病率兵出隴西，過胭脂山，於祁連山下與匈奴決戰，打敗休屠王、渾邪王，兩王請降。

　　漢武帝西元前111年設張掖郡，十六國時期為北涼國都。隋改張掖縣，西元609年隋煬帝於此舉辦了萬國博覽會，唐“安史之亂”後被吐蕃所占，西元852年張儀潮收復。五代時為回鶻所占，元滅西夏統一中原，馬可•波羅在此逗留了一年。明設甘州衛，清為甘州府。

　　當年漢武帝給張掖命名的意思是“斷匈奴之右臂，張中國之臂掖”，後來匈奴果然一蹶不振，再也沒有踏上這片土地。