提出全部撤回的其實是吳嘉善。陳蘭彬在上奏，稱自己在1875年之后已經離開肄業局，局內事務已不過問。朝廷問責下來時，吳嘉善從哈特福特跑到華盛頓找到陳蘭彬，吳向陳述事時極力主張「將局裁撤」，陳予以勸阻，則對吳說，「以擬何辦法，總宜諮呈南北洋大臣酌奪」，同意向朝廷匯報。容閎則大怒，罵吳是「留學界之大敵」。問題出在李鴻章1881年給總理衙門的一份題為《論出洋肄業局學生分別撤留》的函件，他在函中指出陳蘭彬「堅持全裁之議」，將吳嘉善原先堅持全裁的意見，理解為是陳蘭彬的，而總理衙門弈*等據此擬就的一份奏折給陳蘭彬定了調，「全部裁撤」是陳蘭彬提出的，卻絕口不提吳嘉善，清廷隨即提前撤回幼童。於是，陳蘭彬成撤回學童的罪人，他曾經感叹，「天下事敗之甚易，成之甚難」。每個時代都有每個時代的特徵，用當時人的話說，陳蘭彬、容閎時代是「三千年未有之大變局」，清末宣統皇帝之師陳寶琛一首《感春》中有句：輸卻玉塵三萬斛，天公不語對枯棋。蒼天面對著這樣的一個時代，也如同面對著一盤困頓的枯棋，無能為力，遑論陳蘭彬、容閎。1884年4月，慈禧借中法戰爭清軍戰敗之機，罷免弈言斤為首的軍機五大臣，時任總理衙門的陳蘭彬卷入其中，成為犧牲品，告老還鄉，主持高州高文書院，編纂《高州府誌》、《吳川縣誌》、《石城縣誌》，1895年去世，終年79歲。1875年，容閎和美國小姐Mary Kekkegy結婚，婚后生有二子。《西學東漸記》於1909年在美國出版，1912年4月21日，容閎於美國去世。