日本画家。本名秀麿。

水戸藩士酒井捨彦の長男として茨城県水戸市に生まれる。

のち母方の横山家を継いだ。

明治16年絵画に興味をいだき、渡辺文三郎という画家に師事。

明治26年東京美術学校を第一期生として卒業

明治28年京都市立美術工芸学校（現在の京都市立芸術大学）教諭。この京都修行時代と推定されるが、雅号を「大観」とす。大観とはあらゆる大局的な観点から世界を見るという意味の法華経の経文からとったという説もある。

東京美術学校時代、校長だった岡倉天心を終生の師と仰ぎ、明治31年天心、菱田春草らとともに日本美術院を創立。第1回展に出品の『屈原（くつげん）』は初期を代表する作。美術院では菱田春草（ひしだしゅんそう）らと日本画の近代化を企図し、大胆な没線描法を試みたが、朦朧派（もうろうは）と悪評されて苦闘を強いられた。

明治40年文展の審査員となるが、ことごとく意見が合わず大正3年には除名。この年、日本美術院を再興し、以後院展を舞台に意欲的な活動を展開する。再興第1回展に『游刃有余地（ゆうじんよちあり）』、第3回展に『作右衛門の家』、第6回展に『山窓無月（さんそうむげつ）』、第8回展に『老子』、第10回展に『生々流転（せいせいるてん）』などを出品、東洋の伝統に基づく近代日本画の創成を目ざして画壇に重きをなした。

1930年（昭和5）ローマ日本美術展に際し美術使節として渡伊。1931年帝室技芸員、1935年帝国美術院会員にあげられ、1937年第1回の文化勲章を受章した。13年にはアドルフ・ヒトラーに献呈するため作品「旭日霊峰」を完成。昭和に入ってからは装飾性の強い作品のほか、戦時意識にともなって日本精神の象徴ともいえる作品を多く描いた。戦後は、穏やかに自然をとらえた佳品を描き、昭和33年に永眠。

上野池之端の旧邸は横山大観記念館として公開されている。