1909年，陳光甫畢業於美國賓夕法尼亞大學，同年回國。此後創辦了上海商業儲蓄銀行（以下簡稱「上海銀行」）、中國旅行社，並與英商太古洋行合資開設寶豐保險公司。他先後擔任中華民國中央銀行理事、中國銀行常務董事、交通銀行董事、貿易調整委員會主任和國民政府委員等要職。尤爲值得一提的是，他創辦的上海銀行，堪稱是中國近代金融史上的奇蹟。
上海銀行是陳光甫於1915年創辦的，創辦之初，僅有資本七八萬元，人員7人。陳光甫任總經理，還兼營業、拉存款、跑工廠、搞放款等，晚上還親自爲青年行員開班教書。銀行始終秉承「服務社會，顧客至上」的宗旨，特別提出「一元即可開戶」的原則，同時還致力於銀行的現代化。
在陳光甫努力經營下，短短20年間，上海銀行就一躍成爲中國第一大私人商業銀行，不僅在全國擁有幾十個分支機構，而且創造了中國金融史書上的多個「第一」，在當時具有舉足輕重的影響力。陳光甫也因此被譽爲「中國的摩根」。
陳光甫的成功，不僅得益於上海獨特的金融環境，而且得益於其個人的膽略和卓越的專業精神。他的率先辦理「一元開戶」和「服務上門」、推行貨物抵押放款、改革貨幣流通中陳規、開辦國外匯兌等舉措，在當時都是相當引人注目的。
抗戰期間，他受命赴美，與國民黨駐美大使胡適鼎立促成了美國政府針對中國的「桐油貸款」，保證了國民黨抗戰的資金來源。
抗戰結束後，共產黨發動了內戰，結果是國民黨戰敗。曾經支持國民政府的陳光甫對於國民黨十分失望。1949年1月，蔣介石宣佈引退，由李宗仁代行總統職權。李宗仁剛一上臺，就決定與中共和談，其中一個舉措就是邀請幾位在全國具有很大影響力的社會名流，組成「上海人民和平代表團」到北平「敲門」。陳光甫是其首選的對象之一。
但是經過再三的考慮，陳光甫決定還是不參加這個代表團。當別人詢問原因時，他表示「赤色分子宣稱如果代表團希望參觀北平，不準備討論和平條件的話，他們願意接待」，這樣的言辭他不喜歡。代表團成員章士釗告訴他，中共非常希望他參加代表團。陳光甫則認爲：「上海的財政形勢如此嚴重，共產黨人無非希望從我身上取得如何使上海經濟成功運轉的主意。……我的意見是（此時）只有依靠美國的援助……由於赤色分子不斷攻擊『美帝國主義』，我無法想像，我如何能與他們談話……在我與共產黨人之間缺乏走到一起並進行討論的共同基礎。」
在代表團動身之後，陳光甫再次在日記中說明了自己不想參加的原因。一方面是受朋友的勸阻，一方面是他對共產黨心存疑慮。儘管他看不慣國民黨，但他認爲自己至少在國民黨統治下還享受到了個人自由，即拒絕政府邀請任職的權利。而這種自由能否在共產黨統治下獲得，陳光甫並不確定。正是基於這種考慮，他最終選擇了離開上海，前往香港。
中共佔領上海後，上海銀行雖然還在營業，但顯然情況已經有所不同，其中職工會的權力膨脹讓他深感意外。身在香港的陳光甫默默關注着大陸的變化。對於職工會提出的主張，他認爲已經超出了其追求福利的範圍，涉及到了銀行管理問題，而銀行的管理是需要豐富的專業知識的。他批評職工會一知半解，自以爲是，批評其只知學習毛澤東思想，而對銀行業務則只限於學習一些粗淺技能，這樣「妨礙主管人之精力也」。
1949年10月，中共專程派人去香港邀請陳光甫等人北上。他以年老體弱，需要在港治病爲由婉拒了邀請。11月，中共再次派人邀請，陳光甫還是以同樣理由婉拒。此後，因一項上海銀行經手的一項匯款業務，使他對新政權心生恐懼，最終使其對北上望而卻步。1954年，陳光甫在臺灣定居，並於1965年在臺北重建上海商業儲蓄銀行，自任董事長。1976年卒於臺北。
陳光甫明智的決定讓他避免了一場災禍。他那些相信中共而留在大陸的同行們，在1952年中共掀起的「城市工商業改造運動」中，不僅企業被強迫收歸國有，而且一些人性命也不保。上海更是這場慘烈運動的中心。想必當陳光甫聽到這一切時，一定會慶幸自己當年的選擇吧。幸哉，陳光甫！