指南針能夠辨別方向，是因爲它內部的磁針能夠響應地球磁場。
指南針的主要組成部分是一根裝在軸上的磁針，這根磁針可以在天然地磁場的作用下自由轉動，並保持在磁子午線的切線方向上。由於地球本身是一箇巨大的磁體，具有南北兩個磁極，磁針的南極（South Pole）會被吸引到地球的北極（North Pole），反之亦然。因此，磁針的南極會指向地理上的北方，而北極則指向地理上的南方。這種現象是基於磁鐵的同性相斥、異性相吸的原理。
在實際使用中，由於地球磁場的南北極與地球旋轉軸的方向有一定的偏差，指南針所指的北方並不是正北方向，而是所謂的磁北方向。此外，由於地球磁場的磁力線是傾斜的，指南針在不同的緯度和經度位置下所指向的磁北方向也會有所偏差。因此，在使用指南針時，通常需要將其水平放置，以確保磁針可以自由旋轉，並儘可能減少因附近強磁性物品的干擾而導致的誤差。