文久2年（1862）福井藩士岡倉覚右衛門の二男として横浜に生まれる。幼名覚蔵。
明治13年（1880）東京大学文学部卒業。
明治23年（1890）より東京美術学校校長。
明治31年（1898）東京美術学校校長を非職となる。橋本雅邦らと日本美術院を設立。
明治37年（1904）渡米してボストン美術館の仕事に携わり、以後日本、中国、インドの美術作品購入と、整理保存に尽力。同美術館顧問および中国日本美術部長として、中国日本美術部の中にインド部門を加える必要を説いた。
明治38年（1905）二年前に購入した五浦の土地に邸宅と六角堂を建てる。
明治39年（1906）日本美術院の絵画部を五浦に移転。
大正2年（1913）9月2日、赤倉にて没。享年50歳。

主著に『東洋の理想』（1903）、『日本の覚醒』（1904）、『茶の本』（1906）。
この写真は、ボストン美術館に於いて撮影したものである。