少林武功的起源可以追溯到北魏時期，具體而言，它起源於嵩山少室山下叢林中的少林寺。該寺建於北魏孝文帝時期，根據《魏書》記載，印度高僧跋陀在少室山陰被孝文帝敕建少林寺。
關於少林武功的創始人，傳統上認為是印度高僧達摩。達摩在少林寺傳授佛教的禪宗，面壁九年，靜坐修心，被尊為中國佛教禪宗的初祖。為了驅倦、防獸、健身、護寺，達摩等人仿效中國古代勞動人民鍛鍊身體的各種動作，編成健身活動的「活身法」傳授僧人，此即為「少林拳」的雛形。此外，達摩在空暇時間還練習使用鏟、棍、劍、杖等防盜護身的動作，後來這些動作發展成為少林武術的一部分。
然而，也有學者認為關於達摩創立少林武功的說法並不準確，這可能只是個傳說。實際上，在達摩之前，北朝寺院的練武風氣已經形成。因此，少林武術的起源可能更早，與達摩無關。