客家伯公的故事有很多，以下是一種傳說：
在閩粵贛三省邊界的客家人中流行著一個傳說：古時有一年，當地瘟疫盛行，莊稼枯萎，民生凋敝。適逢海外紅頭番率領兵船，滿載金銀珠寶前來探寶，想藉此救濟他們國內因水土不服而罹患疫症的百姓。事有湊巧，他們發現了該地的客家人很和氣好客，但又對許多傳說禁忌很迷信。於是，他們就化裝成賣藝人來到村里。客家小孩們很歡迎他們，於是，洋番便趁機給他們說：“你們這裡有一種神秘的力量可以控制人的生命，假如有人不尊重你們的話，就……”小孩們一聽嚇壞了，急忙回去告訴村里人。大家正在驚慌失措時，番邦人拿出一隻鐵鑄的豬籠和一串錢幣交給村裡的長者，並說：“這個籠子能捉鬼除妖。”村長接過籠子後半信半疑地放在祖廳中央。第二天，村裡的病人、愈後的人、甚至臥床不起的人都紛紛來到祖廳，圍著籠子默默地祈禱。說來也怪，籠子裡突然發出“嘣嘣”的響聲，並逐漸增大。突然，“嘣”的一聲巨響，從籠子裡跳出一個金光閃閃的“土地公”。只見它舞動金棒大吼一聲：“山神、土地來也！”隨後，“嘩啦”一聲竄出三四十個山神、土地公，帶著鐵叉、鐵鏟沖向村邊山上，大家提心弔膽地跟著觀看。這時，瘟疫病人一涌而上將他們團團圍住。霎時，“土地公”們高舉著工具怒吼起來：“病人痊癒！莊稼豐收！”霎時，病人竟一個個恢復了健康；病死的莊稼也一一起死回生！村裡的長者深知這一切是神仙在背後支持著幫助他們村子除災祛病。為了答謝這些神靈們再造之恩便按原樣用木頭雕刻了他們的神像來永遠供奉。他們祈求能將這些神奇力量留傳下去而庇佑後代。他們深信這是山神土地諸公在此看護其祖廳以保平安長壽之緣故而稱之為“公王殿”亦即“伯公壇”。這就是客家伯公的來歷和故事。
這只是其中一個傳說，客家伯公還被視為家族的守護神、送子送福的神祇、消災彌難的神祇等，每個角色都有不同的故事和信仰。