这里有答主提及，李光耀在1992年当面批评彭定康。不过根据彭定康的回忆，李光耀其实曾经赞扬他的改革；当面批评事件的三年以后，李光耀也对彭定康表现得相当亲呢（1995年3月9日）：
在萊佛士飯店（Raffles）與總理共進午餐後，我便去見李光耀。他表現得和藹可親，左一句定康、右一句定康地喊我。高級專員認為李光耀比以往任何時候都來得親切。我詳盡且準確地向他說明目前的狀況，他認為鐘方會把一切搞砸，但新加坡也無能為力。我們討論了行政長官的潛在人選，他說只有兩種人可以勝任，一是對現況毫不在意、決意全力與鐘方打交道的人，他認為這人正是曾加入鐘方陣營的鍾士元；二是他所謂的存在主義者，這也是他本人偏向的選項。
事实上，1992年12月14日，李光耀在港大炮轰彭定康当天，彭定康的评价是：「他把我的提案批得一文不值，但奇怪的是，不久前此人还建议我努力填补《钟英联合声明》和《Basic Law》中的灰色地带。」1997年5月12日，彭定康再次憤憤不平地抱怨道，他记得李光耀在自己的第一次政策演说后，称赞彭定康通过利用上述两份重要文件的空缺，来「深化民王」，指责道：「他何必多费唇舌呢？」
当然，以上的说话毕竟是彭定康的一面之词。但不管如何，从彭定康的自我记叙中，是可以看出他与李光耀的政治主张相差很大，以至于二人关系非常不佳。彭定康走马上任港督前，首先就过道新加坡，见过李光耀；而李光耀跟彭定康见面时，有时给他详细的建议，乃至于细化到言语表达，如「李光耀建议我在公开处理各式问题时应更加沉著，态度需坚定且无丝毫不耐」（1992年10月10日）；有时，李光耀则强烈批评他，攻击他「对生活与政治的态度」，让彭定康很不爽，以至于不禁抱怨道：「我认为新加坡这个城邦国家有不少值得钦佩之处，但我可能得切掉脑叶才能在这里住下来。」
在彭定康的五年港督生涯中，李光耀并不是让他最头痛的批评者。在李光耀前面，还有着英国外交部、英国商人、工党与保守党的部分政治家等等，让彭定康感到烦不胜烦，乃至于使他不断咒骂。在彭定康的世界观之中，他在香江仿佛四面受敌，除了英国首相与外相、部分外国政府与当地民意（？）支持他以外，其他人都非蠢则坏。
如果说这些个体太大，李光耀只是一个人，那么我们也可以细化到一个人，那就是——柯利达（Sir Percy Cradock），即当时英国外交系统之中最知名的「桃花石通」、亲桃花石派人物。
在真正赴港上任前，彭定康思考了三天，要如何在制度问题上与桃花石做对抗。彭定康知道柯利达是「英国对桃政策首席桃花石通」，也承认「他无疑是个聪明人」，但认为柯利达极度「自视甚高」：
每次我提到該如何與桃花石打交道時，除了翻白眼之外他什麽表情都有。柯利達向我明確表示，五年後香江主權移交的所有細節幾乎都已定案，沒有什麽需要我操心的。剩下要做的事，就只有確保他一手打造的列車，能夠在與桃花石各合作伙伴共同鋪設的軌道上運行無阻。……在香江前途的議題上，柯利達顯然認為只要香人對他言聽計從，必定會獲得最好的安排。想必想必我一向頗為欣賞充滿智慧的資深官員，但此人自以為是、高傲自負、尖酸刻薄，簡直讓我氣到不行。
彭定康7月初上任港督以后，一方面与各方人物见面，另一方面很快就提出了自己的改革方案，试图利用《桃英联合声明》和《Basic Law》中的灰色地带，见缝插针地改革选举制度，用他的话来说，就是「我认为可以在不违反任何协议的情况下增加合格选民的人数。」不过，在桃花石一方看来，彭定康显然是在玩弄协定的文字游戏，实际上违反桃英双方就当地政制达成的共识，而其目的就是借民王化之名，给桃方在回归后的管治增加难度。
于是，彭定康与桃方彻底闹翻了，而桃花石与英殖政府之间的激烈冲突关系，也通过桃方的一系列表达彻底凸显出来。十月彭定康北上时，他很清楚自己已经变成桃花石眼中的「邪恶港督」，并因为自己的强硬态度而遭到冷遇。桃英之争，惹致「（行政）局里气氛一片低迷」、「恒生指数因此暴跌」，桃方批评彭定康是「千古罪人」，商界批评彭定康，部分行政局议员也在批评彭定康。桃方的反击，使彭定康感到「即使只在香江呆了短短几天，就足以提高我此刻的阴郁程度了」（11月25日）、「我们有段时间过得该死得糟透了」（11月30日）、「市场的恐慌越来越强烈，这一切责任都压在我身上，而不是桃花石。我睡的不太好……因政治局势感到担忧」（12月4日）。这些批评者里面，自然也少不了柯利达。当年12月1日，彭定康注意到，柯利达「在国内趁机落井下石，投稿『泰晤士报』谴责我们正在做的事情」。
隔年1月，彭定康因得知柯利达（他称之为「坏家伙」）失去梅杰信任的「八卦」（原词）而高兴。这一时期彭定康与桃方频繁地通过中间人接触，也不断举行会谈，但由于彭定康拒绝让步，双方陷入僵局。1993年4月，彭定康发现柯利达的角色又进一步，开始主动地与他做对抗：
高德年表示，柯利達將會在五月底來香，然後造訪桃花石，而他顯然兩個月前就得知這件事，還邀請柯利達共進晚餐。柯利達已從過去旁觀批評的角色，轉而積極插手干預，試圖讓我們在香江的努力化為泡影。……我懷疑，柯利達會透過以前曾效命於他的官員得知我們在做的事，然後偷偷轉告桃花石。
彭定康此时已经发展到，怀疑曾为柯利达打下手的高德年（英国外交官）会出卖他的情报。之后的几个月里，柯利达的名字依然频繁地出现在彭定康的日记之中，彭定康对他的称呼包括「讨人厌的柯利达」、「柯利达当然也是幕后黑手之一」（6月9日），以及「我从不相信他（指柯利达）不会把握机会，将一切如实禀告给大都」（9月10日）。14天以后，彭定康又抱怨道，柯利达「持续打给记者告状，真是一派胡言……他真的是个自命清高的老东西……他所做的事很无聊」（9月24日）。
4月～11月之间，桃英之间举行了17轮谈判，但由于彭定康不愿意只做一个「移交单位」，就是要「大搞改革」（李鹏飞语），这些会谈总是陷入「充满火药味的激辩」，或者「极为枯燥，死气沉沉」，总之「绕着桑树转圈圈」。或许因此，不久以后彭定康就懒得再管桃英交涉结果如何，决定「及时行乐」（11月27日）。尽管如此，到了年末，彭定康一起床就被柯利达恶心到了：「我们起床后就从收音机听到柯利达单薄的声音，他正向外交委员会报告，对我们大肆批评」（12月9日）。
1994年4月，彭定康注意到：「柯利达又发言诋毁我们」。一个月以后，更加讽刺的事情发生了：
曾鈺成告訴一些記者，魯平之所以不見我，是因為柯利達建議周南和其他桃花石官員不用給我面子。顯然柯利達還說，與我會面那就意味著像我這種與桃花石打對台的人都不用承擔後果。
彭定康只就此评论了一句：「他又怎么知道呢？」
随着时间发展，柯利达渐渐不再参与这方面的事态，他出现在彭定康日记中的次数也越发下降。不过，1995年10月英国外交部没有力挺彭定康改革，反而找人暴露出彭定康「被边缘化」时，彭定康依然不忘嘲讽一番柯利达的外交路线：
「柯利達原則，必勝！」或是自以為幽默的人聲稱患上讀寫障礙，然後跑到廁所的牆壁胡亂寫上「柯利達原則，闭嘴」。
在彭定康的五年港督岁月里，柯利达最后一次出现在他的日记中，是1997年4月2日，彭定康在整理资料时发现柯利达此前带头与桃花石秘密协商，被彭定康评价为「发现柯利达露出的马脚」。柯利达三个字倒数第二次出现，则是当年3月13日，彭定康认定柯利达声称，由于彭定康的缘故，当地1997年后的牧田与民王程度会大幅降低；与此同时，彭定康所做的一切，都是为了保证他在以后可以重返英国国会，并竞选保守党的党魁。
柯利达并不是唯一一个曾参与香江事务，而又批评彭定康，要求彭定康不要挑起桃英矛盾的英国人士。对现代香江影响最大的前任港督麥理浩，就在1992年9月，被彭定康认为他可能会阻挠自己：
麥理浩就像許多昔日的偉大殖民地官員一樣，我認為他不太在意香江這個殖民地是否會有民王，甚至可能認為談論民王是一種對桃花石不必要的挑釁。現在他是上議院議員，但願他不會在紅色長椅上對我們的計畫加以阻撓。
无独有偶地，前任港督卫奕信的妻子，也在1996年1月携丈夫一同访问香江时，大肆攻击彭定康。在彭定康看来，「她与柯利达同一阵线，访问期间走访香江各处，见人就说我搞砸了所有的事。」
除此以外，在彭定康时期，一度出任行政局议员的汇丰银行集团主席浦伟士（William Purves），也让彭定康感到烦不胜烦。尽管他也有不少协助彭定康的时候，但1992年末，他就在行政局，与同为议员的董建华一道，要求彭定康撤回改革方案；1993年5月，查尔斯·鲍威尔告诉彭定康，浦伟士正在「到处放话，说我是有史以来最烂的总督」。1994年1月，浦伟士与彭定康会餐，结果他成功让彭定康感到：「我真的是自讨苦吃，他这个道貌岸然的恶霸又突破自己的下限了。」
之所以浦伟士会这样，有部分原因是：他是香江工商业资本家的代言人，而这个阶级中的不少人并不欢迎彭定康破坏桃英关系的改革。事实上，彭定康自己就对此深有体会，他在1993年11月说道：
现在只要有英商无法和桃花石签下契约，就会怪罪我们的香江政策，完全不理事实为何……除了上述问题之外，我们都可以轻松应答。
1995年11月，彭定康再次肯定了这一点：「有趣的是，为我们带来最多麻烦的并非民主党议员，而是某些商界领导人。」从彭定康的笔记之中，可以频繁地看到商界是如何批评他的。「工商界人士不断对我提出批评」（1992年12月4日）、「工商界则会趁机对我大加鞭挞一番」（1993年2月25日）、「工商界的游说团体也冒出越来越多的批评浪潮」（1993年3月5日）、「多数商界人士似乎都认定我们的谈判无法达成任何政治协议」（1994年9月13日）、「没有任何商界人士祝彭定康一切顺利」（彭定康夫人语，1995年6月30日），难怪彭定康早在1992年11月，就断定商界有「第五纵队」了。
商界个人的例子，可谓不胜枚举。这里只列举出三个英国商人的例子。首先是1994年2月1日：
在我和商界領袖的會談當中，最糟糕的莫過於地質學家約翰·詹金斯爵士（Sir John Jenkins）了，他是現任殼牌石油（Shell）的董事會主席。……他很積極地想讓我知道倫敦的每個人都希望我遭天譴，也說到馬大使人有多好，不會為英國的利益帶來威脅，還說香江現在之所以成功，是因為大家都引頸企盼一九九七年的到來，並希望英國趕快離開。
1994年6月18日：
多明尼克·勞森對我進行了一場重要採訪，報導中囊括商界對我的批評。有個想像力太豐富的傢伙不僅威脅要槍殺我，還承諾如果我被召回倫敦，他會為保守黨募集五百萬英鎊。
1994年11月1日：
本月第一天便以我和渣打銀行董事會的午餐會開啟，過程讓人甚為沮喪。他們批評我們在香港做的事……更正，不是批評，他們是滿懷敵意。他們認為我們做的任何事、說的任何話都不應惹怒大都。
正是有着这种英国商业利益的驱动，不少英国政界人士也并不欢迎彭定康的激进计划。时任梅杰内阁副首相、贸易暨工业大臣的夏舜霆（Michael Heseltine），一开始就感到彭定康的计划并不明智，只会「危害英国的商业利益」。夏舜霆1995年前往桃花石进行贸易访问期间，多次要求彭定康暂停他的改革计划，「以免毁掉夏舜霆营造出来的氛围」。对此，彭定康愤怒地攻击说，「他实际在乎的只是顺利进入桃花石罢了，而且妄想在行程结束时发表多项贸易声明。这一切都很令人恼火」。
除此以外，还有多名英国政界名流否定彭定康计划的任何意义。工党前首相（1994年5月12日）：
卡拉漢勳爵（Lord Callaghan）來香江待了一下……他說我沒有必要為了香将的未來犧牲自己；他還說，英國要關切的，是必須確保英商可以與桃花石進行大量的貿易往來。他認為既然我們無法在移交香江後影響桃方的決策，那麼現在這樣吵吵鬧鬧其實沒什麼意義。我應該低調點，然後在適當的時候揮揮衣袖離開，不要引起任何爭議。至少他是當著我的面說這些話，不是像某些商人那樣在我背後說三道四，例如某些已離任的保守黨政治人物。很難不喜歡他這樣的人，但就像黎偉略提醒我的那樣，過去卡拉漢在政壇常會迴避工會改革等重大問題。當國家衰落時就需要他這種人擔任政治領袖，因為這樣人民才能體會柴契爾夫人多麼有價值。
保守党财务部长（1995年2月7日）：
保守黨最慷慨的出資人告訴我，現任黨財務長翰布羅勳爵（Lord Hambro）在一週內訪遍香江，對人們宣稱我快要被趕走，還說我試圖從他們身上獲利。
批评者之中，还有工党政府的前外交部长：「演讲过程中，我注意到查芳特勋爵（Lord Chalfont）不断以肢体语言表明他有多么反对我的观点！他就坐在我身旁，场面非常尴尬。他居然曾在政坛上短暂获得相当显赫的地位，实在令人费解。」以及贺维（Geoffrey Howe），他在1994年1月开始接受媒体采访，批评彭定康的态度过于强硬。
当然，事情也并不尽然如此：彭定康的背后，有着英国首相约翰·梅杰、外交大臣韩达德（Douglas Richard Hurd）等人的鼎力支持，「支持我的人都已经出了最大力气」（彭定康语）。正因如此，彭定康才能如此顺利地实现他的光荣撤退野望。彭定康认为英国在从殖民地撤离前，一定会「将……文官体制和西敏宫的国会制度放在火箭发射台上，然后点燃导火线，期待火箭起飞并将卫星成功送上独立轨道」，而他作为与卫奕信、柯利达相对立的强硬派代表，并不想关心英国为什么之前不这么做，只想关心他为了达成这个目标，要如何对抗桃方。
不过，随着1995年立法局选举的结束，彭定康强推的选举制度改革也告一段落。此后，他将自己的主要精力放在设立终审法院上。尽管他的这个计划得到商界人士的支持，但也自从这时开始，彭定康与英国政府外交系统的关系不断趋于恶化。
比如，1994年新上任的驻华大使艾博雅，在彭定康的眼中就是一个极其「令人不悦」的人。艾博雅与前任大使麦若彬的态度不同，先是狠批「单方面设立终审法院极具风险」，随后又被彭定康视为「一直致力于推翻此决定（指设立终审法院）」，中间还与夏舜霆合作，「在广州的豪华饭店内筹划如何对付我们（注：彭定康等人），他们在那时想出给○○通风报信的点子」，而彭定康则认为这会导致桃花石洞悉英方内部意见四分五裂的事实。
「英国官员老是把港督当成改善桃英关系的绊脚石」，这是彭定康的想法。根据他的说法，进入1995年以后，大部分英国官员都相信法院是左右桃英关系的关键议题，而除非桃方点头认可改革，英殖政府必须在这个问题上，全力避免与桃方发生冲突；与此同时，彭定康却坚定地表示，「无论他们（桃方）赞同与否，我们都要照样推行计划」，建立起终审法院。结果，彭定康发现：
午餐結束後，我們到訪位於外交部的國務大臣辦公室，我這才發現有多少官員嘗試在會前陷我於不義。幸好，韓達德和他的政治顧問莫里斯．弗雷澤（Maurice Fraser）也出席了會前會議，並有力反駁所有針對我們的猛烈批評，而弗雷澤先前也曾與其好友黎偉略談話。那些官員企圖操縱會議，甚至還給了首相一份議事錄草稿，我們一直都被蒙在鼓裡。他們堅信在香官員支持我的唯一原因是我個性剛強，沒有人敢忤逆我……無論如何，倫敦官員沒有得到想要的結果，卻還是有能力讓我們失去支持。（1995年1月12日）
进入三月以后，彭定康的英殖政府发现，「伦敦当局和驻大都大使馆已经准备投降」（3月21日）、「再次见识到伦敦当局有多么软弱」（3月22日）、「这一切都表明英国把所谓的商业利益置于香江事宜之上」（4月1日）、「虽然香江官员已经从一些蛛丝马迹料到英国对香江毫无关心，但还是对此举感到震惊」（5月4日）。与此同时，在3月末，彭定康指古沛勤（Sherard Cowper-Coles，时任英国外交部香江司司长）提出一份交给内阁委员会的文件，「其中说得好像若我们坚持推行终审法院计划，大英帝国就会灭亡，或者亚洲的经济前景就会完蛋。」于是到5月21日，彭定康不得不承认：「让人恼火的是，法院一事破坏了我们和伦敦官员的关系，而且若是失败，我也要付出更高的政治代价，日后很难再为同样问题抗争。」
尽管如此，桃方在终审法院的态度上还是比较积极，与彭定康之间达成合作协议的空间更大，彭也对此乐见其成。然而，1995年10月初，桃英外交系统接洽时，媒体发现英方并未力挺改革后的立法局，甚至还有「某外交部官员」亲口说彭定康遭到边缘化。彭定康愤怒地说：「最坏的情况已经发生……外交部这次的确犯下严重过错……香江的亲桃派媒体都在幸灾乐祸……港督与立法局遭到排挤的新闻满天飞」。或许这就是为什么，到了这个时候（1995年10月4日），彭定康认定「美国国务院比英国外交部」，更支持自己的行动吧。
进入1996年以后，彭定康的形势更是急转直下。曾经亲近他的邓莲如、一度亲英的钟士元开始发表反对彭定康、支持桃花石的言论，让彭定康感到幻灭：「我实在不敢相信邓莲如现在会这么做。在我头两年的艰困任期，她曾经是我坚定的支持者。」
当年七月，彭定康的英殖政府在23条问题上，自称「单方面地对抗伦敦与大都」。其结果是：
倫敦對我們的態度是有史以來最糟糕的情況，不斷質疑我們想做的一切。香江司司長古沛勤每五分鐘就來電一次，忙著發送新的問題清單、起草電報，讓部長們在深夜時逐一核對並簽下他們的名字。這一切讓人筋疲力竭，嚴重影響士氣。現在倫敦那些官員又覺得我這總督阻礙了他們。英國外交部認為我們愈來愈歇斯底里，並暗指官員們受到總督的政治立場和領袖魅力所影響。
1997年5月，英国政府换届，新工党的布莱尔上台，彭定康失去了自己老友的支持。很快，彭定康在当年五月八日发觉：「外交部已经试图在收复总督和执政团队失去的领地——该部官员对外相说，『或许我们应该尝试与桃花石重新开始。』李○和布莱尔已进行交流，布莱尔回复的拟稿也没有询问过我们的意见。这在两周前是无法想像的。」
到了6月11日，情况依旧如此：
倫敦對我們的態度持續地惡化。現在他們對我們的話根本不屑一顧。
不过，彭定康总算在最终离开香江前，得到了自己想要的体面：其内容不但限于布莱尔首相等英国要人亲自出席回归典礼，也包括他在鲤鱼门与反对派议员共进海鲜晚餐（5月16日）、曾荫权夫妇提赠给他一首唐诗（6月16日）、参加酒会与音乐会（6月27日）、为布莱尔夫妇安排在太古商场的行程（6月30日），使其不失「最后一个殖民主义者」想要的排场，然后登上不列颠尼亚号。
值得一提的是，当时彭定康似乎与反对派议员相处得不是很融洽。比如，1994年6月8日，彭定康与Lau Wai-hing发生了会面，结果：「我耐心地说明我们长久以来所做的一切，她不时还会点头表示认同。但果不其然，她从办公室离开后就公开谴责我。有时候，我觉得许多政客与我见面，只是为了事后在媒体面前中伤我时站得住脚。与其他人一样，Lau Wai-hing有充分的理由不信赖英国人，值得称道的是，她坦率地表达自己的意见。」1997年6月，彭定康再次记下：有几个英殖政府的高级官员一直在说，他们越来越理解Lau Wai-hing的话语，即「千万不能信任英国人」。
尽管反对派很早就被彭定康列为「需要争取的对象」，但他们却一直怀疑彭定康政府会背叛他们。或许，这是因为反对派也看穿了彭定康政府的本质？1994年9月9日，丁伯利告知彭定康：
○○自田派之間興起了一種輿論風潮，他們說○○民王的爭議都毫無意義，那只是英方為了保持形象而在離○前上演的好戲。他們還認為我們已經放棄爭取其他事項，只希望離○前不用再與桃方爭執，眼前關心的只有英國的商業發展。
当然，也有可能是因为他们惋惜，那辆在「另起炉灶」之声中，永远失去的「直通车」……这一天的接近二十年后，有反对派议员公开表示：
英殖时代香江分明是英国殖民地，难道英国会替我们推行民王吗？哪会有人对你道么好，说明当时是殖民主义，我父母一代这样下来，我们完全理解那种寄人篱下的生活，甚至可说是耻辱，由外族人统治。
不过，彭定康时代就是如此倒错的时代。如此倒错的过去，才有如此倒错的未来吧。