箭扣長城的名稱來源於其獨特的地理位置和形狀。根據當地傳說，明朝時期修建這段長城時，最初並無特定名稱。一位工部官員在巡視時，將這段長城命名為「澗口邊牆」，但後來認為這個名字不妥。他在翻閱史書時，看到了一句「鐵馬金戈仰天笑,彎弓箭扣射雙鵰」，靈感湧現，將其更名為「箭扣長城」。這段長城的形狀蜿蜒呈「W」狀，最低處形似拉滿弓時手扣住弓弦的位置，因此得名「箭扣」。
此外，古代弓的手握部位稱為弣（音撫），也是搭箭的地方，俗稱「箭扣」，這與箭扣長城的名稱有直接的關聯。
箭扣長城不僅因其名稱而聞名，還因其險峻的地形而著稱。在山腳下發現的一塊石碑記載，明代時這段長城就已經被稱為「箭扣」。這個名字形容其陡峭，就像箭的弓背一樣。例如，箭扣長城中的一個地名「鷹飛倒仰」，意味著連鷹飛到這個地方都要倒仰著才能過去，這反映了該地的險峻。