1903年（明治36）、神戸市生まれ。日本を代表する洋画家。貿易商の家に生まれ、幼少時から「西洋的な空気」を感じて育つ。

1922年（大正11）、小磯は東京美術学校(現東京藝術大学)の西洋画科に入学し、藤島武二（たけじ）に学ぶ。猪熊弦一郎・岡田謙三・荻須高徳ら優秀な同級生と画架を並べていた。在学中に「兄妹」（1925年）が帝展入選、「T嬢の像」（1926年）が帝展特選を果たす。東京美術学校を首席で卒業後、生涯の友となる詩人の竹中郁とともにフランスに渡り、西洋絵画の薫陶を受ける。
神戸に戻ってからの小磯は、精力的に絵筆を振るい始めた。優れた素描力を十分に生かしながら、「欧州絵画の古典的な技法を日本の洋画に根付かせる」ための研究を根気強く続け、独自の画境を開くことになった。化粧する女性やバレリーナなど女性群像を手がけ、西洋の文化を吸収した日本のモダンな都会生活を好んで描いた。
また、小磯はその描写力を買われて戦争中には記録画制作に従事した。彼は戦闘場面よりも、兵士の日常を均衡のとれた群像として描いた。
戦後は母校である東京藝術大学において後進の育成につとめ、また東京・赤坂の迎賓館のための壁画を制作するなど、この分野における多くの傑作を残し、1983年（昭和58）には文化勲章を受章した。上記以外の主な代表作品は、「斉唱」「娘子関を征く」「働く人びと」「婦人像」など。

1988年（昭和63）、神戸にて死去。85歳であった。