中國科學院南京土壤研究所成立于1953年，其前身為1930年創立的中央地質調查所土壤研究室。我所的演進歷史，是中國土壤科學發展的縮影，是中國土壤科學史的重要篇章。

1930年7月2日，中華教育文化基金董事會第六次年會（南京）委托農礦部地質調查所舉辦全國土壤調查，地質調查所聘請國內外專家并在所在地北京西四兵馬司9號及豐盛胡同3號成立土壤研究室，開始對中國土壤進行系統的調查與研究，這是中國近代土壤科學研究真正開始的標志。隨后，土壤研究室相隨中央地質調查所經歷了五次遷址。

1930年12月，農礦部地質調查所在原址更名為實業部地質調查所，并于1935.12遷至南京珠江路942號，土壤研究室也相隨遷到新址。

1937年11月，實業部地質調查所更名為經濟部地質調查所，并遷至長沙喻家沖，土壤研究室也相隨遷到新址。

1938年8月，經濟部地質調查所遷至重慶復興巷5號，土壤研究室也相隨遷到新址。

1939年4月，經濟部地質調查所更名為經濟部中央地質調查所，并遷至重慶北碚，土壤研究室也相隨遷到新址。

1946年1月，經濟部中央地質調查所遷至南京珠江路942號，土壤研究室也相隨遷到新址。

1949年4月，經濟部中央地質調查所被南京市軍管會文教委接管（后改為700號）。

1950年8月，經濟部中央地質調查所撤消，接受中國地質工作計劃指導委員會領導和改編。

1952年7月，中國科學院秘字第2741號文件通知，決定將原中央地質調查所所屬土壤研究室擴充為土壤研究所并先成立籌備處，自1952年10月1日起改屬中國科學院。

1953年1月8日啟用中國科學院土壤研究所籌備處印章，1月23日中國科學院人字第0441號文通知，中國科學院土壤研究所籌備處工作結束，研究所正式成立。5月15日中國科學院秘字第2782號文，傳達政務院5月11日[53]政文齊字第12號文，同意中國科學院增設包括土壤研究所在內的24個研究機構，中國科學院土壤研究所東北分所籌備處（現中國科學院沈陽應用生態研究所前身）亦同時成立。6月11日[53]院人字第3004號文任命馬溶之為中國科學院土壤研究所所長。新建的中國科學院土壤研究所系以原中央地質調查所土壤研究室為基礎，合并40年代成立的福建地質土壤調查所、江西地質調查所土壤研究室而成，構成了早期開展土壤研究的基干力量。設土壤物理與物理化學研究組（簡稱一組），熊毅任組長；土壤化學與農業化學研究組（二組），李慶逵任組長；土壤微生物與生物化學研究組（三組），馬溶之兼任組長；土壤地理與改良組（四組），宋達泉任組長，同時籌建了圖書室和土壤標本展覽室。一、二、三組在珠江路700號原址，四組借用雞鳴寺院內小紅樓，分散兩處工作。

1955年3月，我所新實驗大樓在九華山大院落成驗收（現綜合樓），4月全所約150人遷入新址開始集中辦公。

1955年以后，隨著國家經濟建設的發展和研究工作的需要，設立了多個研究室（組）：土壤物理研究組、土壤化學研究組、土壤農業化學研究室、土壤生物化學研究組、土壤微生物研究組和土壤地理研究室，并設立為科研服務的附屬工廠。

1961年末，由熊毅、席承藩率原土壤及水土保持研究所百名科技人員并圖書儀器南遷回歸，全所增至近600人，研究領域同時有所擴展。根據中國科學院“三定”（定方向、定任務、定人員）精神，討論并重新確定所的方向、任務和學科室（組）的設置。

1963年，我所的10年發展方向、重點任務和重大措施三定方案形成，研究室（組）也作相應調整：土壤物理研究組、土壤物理化學研究室、土壤電化學研究組、土壤植物營養化學研究室、土壤生物化學研究組、土壤微生物研究組、土壤地理研究室，大比例尺土壤制圖研究組和土壤鹽漬地球化學研究組，形成了多學科分工和優勢互補的格局，步入多學科全面發展的新階段，開創了我所成為分支學科齊全的全國土壤科學研究中心的局面。

1970年7月15日中國科學院[70]科字第20號文通知，將我所下放到江蘇省。11月28日江蘇省蘇革生[1970]147號文通知，我所歸口于江蘇省科技局。

1973年3月15日中國科學院[73]科發業字015號函，我所由江蘇省和中國科學院雙重領導。5月21日中國科學院[73]科發業字065號文通知，“江蘇省土壤研究所革命委員會”改名為“中國科學院南京土壤研究所革命委員會”。期間，研究室（組）變動：土壤物理研究室、土壤物理化學研究室（土壤電化學研究組并入）、土壤植物營養化學研究室、土壤微生物研究室、土壤生物化學研究室、土壤地理研究室（土壤詳測組并入）、土壤鹽漬地球化學研究室，圖書情報室（圖書與資料合并）。

70年代后期，研究室（組）重新布局，設有：土壤物理研究室、土壤物理化學研究室、土壤電化學研究室、土壤植物營養化學研究室、土壤微生物研究室、土壤生物化學研究室、土壤地理研究室、土壤鹽漬地球化學研究室、圖書情報室，還有附屬工廠。1976年成立土壤環境保護研究室。1979年建立水稻土生態研究組和土壤地球化學研究室（1984年并入地理研究室），土壤實驗技術室和編譯出版室也相繼成立。

1978年3月18日，全國科學大會召開，我所開始了改革開放的歷史新時期。1978年11月6日，根據中國科學院提出的“側重基礎，側重提高，為國民經濟和國防建設服務”的辦院方針，召開了五定(定方向、定課題、定人員、定設備、定制度)座談會，更好地發展了學科分支和爭取國家任務。

1979年4月28日，院[79]科發計字0589號批復，同意我所新增6個研究室（組）：土壤電化學研究室、土壤地球化學研究室、水稻土生態研究組、土壤實驗技術研究室、圖書情報研究室和編譯出版室。

1984年，我所重新調整了科研機構，共設置10個研究室（組）和4個技術系統：土壤地理研究室、土壤－植物營養化學研究室、土壤生物化學研究室、土壤鹽漬地球化學研究室、土壤物理化學研究室、土壤電化學研究室、土壤物理研究室、土壤微生物研究室、土壤環境保護研究室、水稻土生態研究組以及土壤實驗技術室、電子計算機組、圖書情報研究室和編譯出版室。

1985年8月21日，中國科學院同意將封丘站定名為“中國科學院河南封丘農業生態綜合實驗站”。10月21日，中國科學院[85]科發計字1068號文，同意我所在江西省建立我院的紅壤生態實驗站。

1987年3月19日，中科院資環局在南京主持召開“土壤圈物質循環開放實驗室”論證會。8月20日，中國科學院[87]科發計字1035號，批準成立“土壤圈物質循環開放研究實驗室”。

1988年4月12日，全國博士后管委會[1988]博管發4號文批準我所建立博士后科研流動站。6月22日，中國科學院(88)科發計字0766號文，批準我所封丘農業生態實驗站對國內外開放。1990年10月16日，(90)科發計字1231號文批準紅壤站對國內外開放。

1992年9月4日，我所在工資、人事制度配套改革試點基礎上開始綜合配套改革。

2001年3月2日，我所成為中國科學院知識創新工程全面推進階段首批進入試點行列的研究所之一，標志著我所在新世紀伊始邁進了一個全新的發展階段。

2003年5月，科技部正式批準依托我所建設“土壤與農業可持續發展國家重點實驗室”。

2006年初，我所進入中國科學院知識創新三期工程行列。

2015年，我所進入中國科學院“率先行動”計劃特色研究所試點建設。

2018年，我所特色研究所建設工作驗收結果為優秀，進入正式運行階段。