函谷關的由來可以追溯到西周時期，最初是一個關塞，名為桃林塞，位於現在河南靈寶一帶，主要是為了防禦西部地區的周人。到了周武王時期，函谷關成為了周代的一個重要關口，位於今天的河南省三門峽市靈寶市北約15公里處的函谷關鎮王垛村。函谷關地勢險峻，自古以來就是兵家必爭之地，歷史上曾有16次大戰役在這裡發生。
歷史上還有兩座函谷關，分別是漢函谷關和魏函谷關。漢函谷關位於今天的河南省洛陽市新安縣以東，由樓船將軍楊仆出資興建。魏函谷關則位於今天的河南省三門峽市靈寶市函谷關鎮孟村境內，也被稱為「大崤關」或「金陡關」，因後世建三門峽黃河大壩水位上漲已被淹沒。
函谷關不僅是軍事上的重關，而且也頗有人文意義。大家都知道《道德經》是老子留給我們的的寶貴財富，但是可能不知道《道德經》就是老子在歸隱之前，路過函谷關時守將尹喜向他請教時寫下的，可以說函谷關也是道家文化的發祥地。