水墨畫的歷史悠久，起源於中國先秦時期，當時人們用簡單的線條和形狀來描繪自然和生活。到了唐代，水墨畫開始發展成為一種獨立的藝術形式，出現了許多傑出的畫家和作品。
在五代時期，水墨山水畫初成，代表畫家有荊浩、董源、巨然等。宋代時，水墨畫隨著「文人畫」的興起而達到高峰，風格日趨多樣，既有郭熙、範寬代表的「全景山水」，也有馬遠、夏圭擅長的「邊角山水」等。元代時，文人畫盛興，「元四家」黃公望、王蒙、倪瓚、吳鎮發展了山水畫的筆墨技巧與情趣。明清時期，山水、花鳥、竹石寫意水墨畫漸成主流，代表畫家有徐渭、陳淳、「吳門四家」（沈周、文徵明、唐寅、仇英）、「四僧」、「四王」、「揚州八怪」（金農、黃慎、鄭板橋等）。
20世紀早期，水墨畫由文人畫轉向現實主義題材，新中國成立後，如何「改造中國畫」成為共同探討的命題。