冰雹是在對流雲中形成，當水汽隨氣流上升遇冷會凝結成小水滴，隨着高度的增加，溫度繼續降低到攝氏零度以下，水滴就會凝結成冰粒。
這個冰粒在上升過程中會吸附周圍的冰粒或水滴而逐漸變大，當其重量增大到無法被上升氣流承載時，便開始下降，在下降過程中，如果遇到較強的上升氣流，冰粒可以被再次帶回雲中，並在雲中繼續凝結變大，如此反覆，直到冰粒的重量超過空氣的浮力，最終落到地面。
冰雹形成需要以下條件：大氣中必須有不穩定層存在，積雨雲必須發展到能使個別大水滴凍結的高度（一般認爲溫度達-12至-16℃），要有強的風切變，雲的垂直厚度不能小於6至8千米，積雨雲內含水量豐富，一般爲3至8 g/m³，在最大上升速度的上方有一箇液態過冷卻水的累積帶，雲內應有傾斜的、強烈而不均勻的上升氣流，一般在10至20米/秒以上。