當時拿破崙三世正以軍事涉入義大利、墨西哥、波蘭及德國等國事 務，47本無時間處理越南問題，且又與潘清簡協議在前，以為可以藉此與 越南建立某種關係，使法國在遠東有立足的空間而不必背負侵略者之 名。可是，何巴理與越南的談判毫無進展，使法國海軍反對歸還嘉定、
邊和、定祥三省的聲音大增。法國海軍本來就反對放棄及修改與越南簽 署的〈壬戌和約〉，並且企圖擴大在中南半島的勢力範圍，至此，拿破崙 三世終於改變主意，放手海軍處理越南問題。1864 年 6 月 5 日拿破崙三 世下令何巴理停止談判回國，同年的 11 月 10 日，法國決定不批准何巴 理與潘清簡草簽的〈續約〉，並通知交阯支那總督海軍准將拉格蘭第／嘉 棱移衣(de la Grandiere)48執行〈壬戌和約〉的條款。
交阯支那總督海軍准將拉格蘭第於嗣德十八年(1865)正月，遣使知 會順化朝廷，法國即將執行舊約。嗣德帝企圖通過外交接觸與談判來感 動侵略者歸還土地的想法，證實完全失敗。拉格蘭第／嘉棱移衣在同年 的二月回國述職，都(Roze)來代交阯支那總督，49當時法國的野心已鎖 定南圻餘下的永隆、安江、河仙三省，並揚言「若欠賠銀」便「摘取隆、
江、河三省以扣賠數」。這時越南人已清楚法人「所言似誇，而勢或必是。
彼人視三省土地人民皆其財也」。50事實上，永隆、安江、河仙三省在南 圻最西南，被法人控制的嘉定、邊和、定祥所阻斷，順化的統治真是鞭 長莫及。法國已將銜在嘴中，又藉口永隆總督包庇邊蠻，迫令交人。嗣
47 Sauvigny & Pinkney, 蔡百銓譯，《法國史》〔History of France〕(台北：五南圖書出 版，1989)，頁 328-332。
48 邵循正將 de la Grandiere 翻譯為「特拉格郎提愛」，參邵循正，《中法越南關係始末》。
又岩村成允認為 de la Grandiere 即《大南寔錄》中的「嘉棱移衣」，參岩村成允著，
許雲樵譯，《安南通史》，頁 239。
49 都應是陳金重《越南通史》所說的 Roze，戴可來譯為「羅澤」。參見該書頁 369。
50 阮仲合等纂，《大南寔錄》，第 16 冊，卷 32，總頁 6373。
德帝見三省危在旦夕，再次起用潘清簡以協辦大學士領戶部尚書充三省 經略大臣，繼續與法人談判，因為只有潘清簡是「西素信服」之人。51 然而，法國交阯當局時常利用高棉人及邊陲土著，尋找併吞南圻南 三省即永隆、安江和河仙的藉口。永隆總督張文琬密奏：「高蠻攜二，與 富（法）通，求復取七山等處。」而安河總督潘克慎亦密奏：「土酋名孫 孟，已懷二心。」52當時「高蠻已為富(法)國保護」，越南只能「委曲以 安彼心」來維持與法國的和諧。不過，法國對南圻南三省的野心轉趨積 極。這一年(1865)十二月，拉格蘭第／嘉稜移衣(de la Grandiere)再次回 到交阯支那當總督。嘉稜移衣就是法國在中南半島擴張的強有力執行 者，他早在 1863 年便迫使柬埔寨置於法國保護之下。53嗣德十九年(1866) 三月，嘉稜移衣以永隆、安江、河仙三省地勢懸隔，不便於越南，而姦 竊往來不利於法國，向越南提出「并管其地，為我剿絕海匪，盡停賠銀 等」。由是而知，法國已下決心兼併南圻南三省，以擴建在越南的殖民地。
嗣德帝派員商請法國「永守舊約」54，但這只是嗣德帝一廂情願的想法。
法帥嘉稜移衣時常藉口「三省容隱千戶揚，借械助戰」步步相迫，嗣德 帝下令經略大臣潘清簡及三省總督立即查緝「揚及從管人等，潛隱轄內，
當速拏交」。55希望化解法人的藉口，不過這都是徒勞無功的行動。
這一年的九月，西烏起出任交阯支那總督，而嘉稜移衣則得到海軍 部部長黎峨(Genouilly)的全力支持，積極展開侵占南圻南三省的行動。
西烏起派出特使韋安(Vial)前往順化，要求「隆、安、河三省地」。韋安 恐嚇說：「今不肯與講定，恐募人日肆，富帥不日，惹出兵端耳！」56順
51 阮仲合等纂，《大南寔錄》，第 16 冊，卷 33，總頁 6390-6391。
52 阮仲合等纂，《大南寔錄》，第 16 冊，卷 33，總頁 6397。
53 龍章著，《越南與中法戰爭》，頁 20。
54 阮仲合等纂，《大南寔錄》，第 16 冊，卷 34，總頁 6406-6407。
55 阮仲合等纂，《大南寔錄》，第 16 冊，卷 34，總頁 6417。
56 阮仲合等纂，《大南寔錄》，第 16 冊，卷 35，總頁 6430；並參陳重金著，戴可來 譯，《越南通史》，頁 369；及岩村成允著，許雲樵譯，《安南通史》，頁 243。
化朝廷的親藩和廷臣再三會議認為「永隆、安、河三省是我封域，和約 既定，豈可變更？而土地人民，朝廷豈有棄之之理……惟地勢孤懸……
我之勢，料未可與之爭鋒。若要，我必行：須兩下斟酌，我以此三省交 富，富宜以嘉定、邊和交我，及沱灢、巴、廣安二港，勿設領事」。57順 化朝廷大臣完全沒有想出應付法人入侵的方法，連激憤之辭亦甚少見，
更不必說軍事對抗了，廷臣們竟建議嗣德帝「不與兵爭」。而嗣德帝仍然 寄望法人回心轉意，可見嗣德帝完全陷入談判的泥淖中。
嗣德帝以為「富人信重之（指潘清簡），料必能委曲投機，一言賢 於十萬師……務使聽從，得贖回為上。何省富人乞居商亦聽」。58機密院 臣提議利用報紙「將富帥邇來所行不順，民情不堪，遍送落瑪（羅馬）、
浪沙（法國）、衣坡儒（西班牙）、英吉利（英國）及廣東、香港諸公論 堂（指報社）使之宣布，以離其卵翼之資，亦使富帥或畏公議寢謀。從 之」。59以「從之」來判斷，這項提議似是有所執行。嗣德帝同意利用報 紙輿論迫法國放棄侵占野心，是過份相信國際輿論的效果，不過從往後 的歷史發展來看似乎一點效果也沒有。
法國當局當然不會因報紙輿論而改變入侵政策，卻激起加速入侵的 步伐。這一年底，法國在海軍部長積極的運作下，拿破崙三世再次下令 依〈壬戌和約〉執行，不但如此，法已計畫占領南圻餘下三省。60嗣德帝 對於南圻六省之事完全委經略大臣潘清簡處理，但是法國之野心又豈是 潘清簡所能左右的呢？因此關於「贖三省」及「換易邊和」二事，法國 新舊總督根本不會認真與潘清簡討論，而嗣德帝對潘清簡的誤會也就越 來越深。嗣德二十年(1867)二月，嗣德帝怪責潘清簡說：
邊籌既專委之……朕日日望卿收此三省報朕，則卿縱不幸長往，
57 阮仲合等纂，《大南寔錄》，第 16 冊，卷 35，總頁 6430-6431。
58 阮仲合等纂，《大南寔錄》，第 16 冊，卷 35，總頁 6431。
59 阮仲合等纂，《大南寔錄》，第 16 冊，卷 35，總頁 6434。
60 陳重金著，戴可來譯，《越南通史》，頁 369-370。
亦可冥目，朕亦安心。不然，萬世與卿同罪，無有贖辰。魂魄不 散，亦為鬼雄以圖報。方快說到心疼，無可復下筆，千萬里如對 卿言，卿猶不信，自諉邪嗣。有見聞籌劃，悉入告，勿復如前。61 由此可見，嗣德帝對潘清簡是不諒解的，而潘清簡對這位皇帝亦無言以 對了，因為出使法國時所獲的承諾如今已完全被推翻。
潘清簡正面對法國入侵南圻南三省的壓力，事實越南已無計可施，
不以軍事對抗是越南朝廷上下的共識，在強權即公理的帝國主義國際環 境中，越南即使有理也說不清，這是十九世紀東亞國家面對西方列強入 侵的共同命運。嗣德二十年(1867)五月十九日，法國終於展開入侵行動。
「富帥率將兵船多數，駛到隆省津次」，威脅潘清簡將永隆、安江、河仙 三省「立即讓交，不然兵臨城下，有傷鄰好之情」。潘清簡雖據理力爭，
但也無法阻止法軍入侵的事實，他只能勸喻法軍入城「勿驚擾人民與倉 庫，現貯錢糧仍由我照管」。62海軍司令嘉稜移衣(de la Grandiere)答允所 求，下令法軍從四面入永隆城，又遣兵往南圻南二省。法軍於同年五月 二十日入安江、五月二十三日取河仙，63完成侵併南圻六省的任務。潘清 簡已經七十四歲，在兵力又不足的情況下，無條件向法軍投降，南圻全 境為法軍占領。64
嗣 德 帝 得 知 南 圻 南 三 省 被 占 領 後 ， 下 令 修 書 嘉 稜 移 衣 (de la Grandiere)，請求護送三省大臣來京。嘉稜移衣答允派戰船護送三省官員 回順化。而潘清簡則「將三省錢糧現數，照扣是年賠銀一百萬兩」，餘額 全部上繳，連同自己的朝袍、印篆，並遺疏一封，納交順化朝廷。自己 則「不食而死」，以身殉國。潘清簡留下臨終肺腑之言：
南圻疆事一至於此，駸駸乎有不可遏之勢。臣義當死，不敢苟活，
61 阮仲合等纂，《大南寔錄》，第 17 冊，卷 36，總頁 6455。
62 阮仲合等纂，《大南寔錄》，第 17 冊，卷 36，總頁 6466。
63 阮仲合等纂，《大南寔錄》，第 17 冊，卷 36，總頁 6465-6466。
64 陳重金著，戴可來譯，《越南通史》，頁 369-370；吳鈞著，《越南歷史》，頁 242-243 。
以貽君父之義。皇上博達古今，深究治亂。中外親賢，同心協贊，
恪謹天警，撫卹人窮。慮始圖終，更絃易轍，勢力猶有可為。臨 絕梗塞，不知所云，但雪涕瞻戀，不勝願望而已。65
當時嗣德帝正與群臣商討攻守之策。嗣德帝「欲以富人迫取二省情狀，
播示中外」尋求外間的奧援，而廷臣以為「日下海防未固，遽以曲直宣 播於人。彼素負氣妄為，我難卒應。其整飭屯壘，束補鄉兵諸款，想應 預飭整暇」。66嗣德帝在無法可施的情況下接受了廷臣的意見。這就是潘 清簡所說的「駸駸乎有不可遏之勢」，必須承認法國已占領南圻的事實，
「慮始圖終，更絃易轍」認清法人企圖，加強防衛，現下的「勢力猶有 可為」。至此，嗣德帝的惡夢已經甦醒，他必須面對現實。
嗣德二十年(1867)的十二月，嗣德帝任命陳踐誠為欽差大臣，乘火 船前往嘉定與法人商定〈新約〉。嗣德帝以為「我國與富浪沙交和，定有 成約。茲南疆事，應行酌議，文書往復，不如面商」。67故有此次出使嘉 定的安排。而較早前隨富帥出使歐洲的使者；禮部尚書潘文豐、左侍郎 潘廷評、幫辦阮文祥等，於嗣德二十一年回抵順化，68他們曾與法廷談判
「許贖前三省，還內三省」，又遍遊英國和西班牙等國，視察國際形勢。
他們認為：
隆、江、河三省已落人腹裡，形格勢禁，我既難為守，而洋視為 囊中物……併吞之計，想該國久同會議。嘉定現今經理基址既成，
彼方以此為居重之勢。雖我費多款曲，安肯棄之……年前和約，
彼方以此為居重之勢。雖我費多款曲，安肯棄之……年前和約，