冰山主要由冰川或冰蓋形成。這些冰體通常位於高緯度地區或高山地區，並隨着時間的推移向下移動。當這些冰體到達海洋或湖泊等水體中時，由於浮力的作用，它們會浮在水面上形成冰山。
冰山的形成主要發生在春夏兩季，這時較暖的天氣會導致冰川或冰蓋邊緣發生分裂，從而形成冰山。在冰川或冰蓋與大海相會的地方，冰與海水的相互運動會導致冰川或冰蓋末端斷裂入海。此外，當南極大陸冰蓋向海面方向變薄並突出到大洋裏時，也會形成冰山。
北極的冰山多來自於格陵蘭島冰蓋，而南極的冰山則多來自於大陸冰蓋。冰山的產生速率在北冰洋爲每年280立方公里，在南極洲爲每年1800立方公里。大多數冰山的比重爲0.9，因此其質量的6/7在海面以下，而露出水面的一角僅僅是整座冰山的1/10。