父親は兄弟で一番優秀だったアーネストをケンブリッジ大学に進学させたかったが、階級差別の激しい当時、
中産階級出身の非国教徒が学位を取れる保証がなかったため、プロテスタント系のミル・ヒル・スクールに入学、
1859年首席で卒業、宗教を問わないユニヴァーシティ・カレッジ・ロンドンに進学、ローレンス・オリファント卿著・『エルギン卿遣日使節録』を読んで日本に憧れ