下午茶文化起源於中國，但作為特定的文化習俗和生活方式，它主要在英國發展起來。在17世紀的英國，上流社會的早餐豐盛而午餐簡便，社交晚餐通常在晚上八時左右開始，因此人們在下午四時左右會吃一些點心和喝茶。這種習慣由一位名叫安娜瑪麗亞的女伯爵推廣，她每天下午都會讓女僕準備一壺紅茶和點心，並邀請朋友共享，從而在英國上流社會中流行起來。
另一方面，中國的下午茶，茶人們稱為「申時茶」，是由王瓊女士和張衛華先生根據《七碗茶》演變而來。它指的是在下午3-5點（申時），喝茶人「正襟危坐」，採用腹式呼吸法，在40分鐘左右喝上7杯熱茶。
提起下午茶，許多人會聯想到英國宮廷。相傳在19世紀40年代，貝德芙公爵夫人安娜公主因為無法忍受午餐與晚餐之間的漫長等待，便準備了精緻的麵包、鬆餅和上好的紅茶，這種做法融入了當時英國上流社會對餐飲的理解和複雜的禮儀，最終演變成我們熟知的英國下午茶文化。
唐朝時期的文人墨客會舉辦茶會，與朋友一起品茶作詩，並佐以精緻可口的糕點，這可以視為下午茶的雛形。當時的下午茶還會在茶中加入鹽巴或生薑，後來由茶聖陸羽提出的煎飲法逐漸演變成現在普遍接受的喝茶方式。
下午茶的風尚也與一款中國茶密切相關，即拉普山小種茶，也稱為正山小種茶。它是世界上最早的紅茶，被譽為紅茶鼻祖。在明朝後期被荷蘭商人帶回歐洲後，正山小種茶在英國皇室乃至整個歐洲迅速流行起來，這也促進了後來廣為人知的下午茶文化。