阿拉伯人的祖先可以追溯到遠古的閃米特人部落，根據宗教經典的故事脈絡，阿拉伯人和以色列人都是亞伯拉罕的後裔。亞伯拉罕是閃米特的第九氏孫，挪亞的第十氏孫，根據《聖經》記載的年代推算，亞伯拉罕是出於大洪水之後的第二百九十一年。無論是在《古蘭經》還是在《聖經》當中，亞伯拉罕都享有崇高的威望，被奉為先知。
亞伯拉罕的妻子撒拉很漂亮，但一直沒能生育。撒拉於是勸說丈夫納自己的使女哈澤爾為妾。之後，哈澤爾生下一子——易司馬儀（Ismail，即《聖經》中的以實瑪利）。亞伯拉罕把哈澤爾母子遷到了麥加河谷，而自己又回到巴勒斯坦與撒拉同住。回家後，傷心的亞伯拉罕再次向神求子。結果年老的撒拉竟真的生下一個兒子，這就是伊斯哈格(Ishaq，也就是《聖經》中的以撒)。伊斯哈格有兩個兒子——以掃和雅各，雅各繼承了家業。雅各（即《古蘭經》中的葉爾孤卜，Ya'qub）後來改名為以色列，他就是以色列人的祖先。雅各的後裔後來遷入埃及，直至摩西帶領以色列人逃離埃及，擺脫法老的統治。
因此，阿拉伯人和猶太人都認為自己是亞伯拉罕的後代，這是他們共同的祖先。此外，基因學研究也支持這一觀點，研究發現猶太人和阿拉伯人的Y染色體是出自同一個祖先，這與宗教傳說中他們是諾亞兒子閃的後裔相符。