答案是：是，也不是。首先，香江被英国殖民多达155年，也就是1842-1997年。然而，当使香江成为今日香江的「经济繁荣」出现时（1961～1997年不间断的增长），距离殖民统治结束已经不到四十年了——也就是英殖时期的大约四分之一。
其次，就是它的经济高自由度。正如英国殖民政府官员自己也承认的一样，他们执行经济自由政策（或者说「积极不干预政策」），与其说出于英国殖民者对自由资本主义的偏爱，不如说是出于香江自身作为贸易转口港的特殊情况。夏鼎基就在1984年表明：
在香江，能以經濟管理而做到於對外贸易的循環周期中，維持收入與就業水平，這樣的空間其實很有限。所以，政府在资源的調動、工商業的決策和其管理程序，並無顯著的参與。
经济的高自由度，对于香江或者澳门等外国殖民地城市发挥其沟通中西经济的资本主义枢纽作用是必然的条件，冷战时期遭到新国家体制管控的澳门在某种意义上的失败就展示了这一点。而且，这种冷战时期格外显眼的经济高自由度与其得益于英国的经济政策，不如说得益于大陆的默许政策；与其说对英国自身有利，不如说对桃花石更有利，桃花石从中所获得的经济利益正是默许英国统治继续存在的关键。通过这种经济自由来为冷战的桃花石担当离岸贸易与金融中介角色，以此使其得以连接全球市场与外国资本，从而使其获得比打倒港英政府更多的利益，正是港英政府得以延续自身存在的法宝。1975年任职香江与印度洋部的英国官员Laurence O’Keefee就曾经抱怨说：「問題是我們手抱『婴兒』，而又當時絕無可能讓我們將它抛棄。這對我來説頗感意外。我一直假設殖民地乃為了殖民者的利益來運作，而被殖民的實際上也能從中得到和平與繁榮而獲益。我從來不知道原来我們擁有一件自己得到最少好處的東西。」
正因如此，这种对全球市场边界保持完全开放的状态，在主权移交后也没有发生变化——这种帮助桃花石对其想要的经济区域做到自由开放的作用，对于桃花石资产阶级与资本有着尤其重要的作用。即使并不是那个时期，假设港英政府当时也推行统制经济（虽然不可能），这样反而可能激怒桃花石，导致香江被提前收回。
此处不得不提到的一点是，这种经济高自由度——或者说经济自由政策，实际上给香江本地市民带来了相当大的困扰与剥削，他们在住房政策、社会政策、福利政策上的短缺很大程度都可以归咎于这一点。曾任港府政策组顾问的顧汝德曾指出：
無論是主權移交前後，「經濟求存」都是政府用來反對增加社會開支，對貧苦大眾、長者、殘疾人士和體弱多病者苦況漠不關心的標準藉口。直到二十世紀七十年代為止，殖民地政府與其工商業界精英伙伴，一直聯手反對為所有兒童提供普及教育。政府曾經故意把普羅大眾的居住環境，維持在骯髒和不衛生的水平，現在看來简直是不能忍受。官商都大力反對和百般阻撓香江實行社會保險、退休保障和失業金制度。因此，香江在1998年經歷逾60年來最嚴重的衰退時，公營房屋和社會服務已遠遠落後於這個複雜的後工業社會之期望，未能滿足市民的需要。
……财政司司長曾俊華在2012年曾以「福利民粹主義如何摧毁社會繁榮」（How Welfare Populism Destroys Prosperity）為題發表演說，這個標题正好說明政府理財的目標。對於政府假定必須限制福利開支，社會上幾乎没有任何爭論。政府聲稱無法承擔福利和擴大社會服務範疇，這種說法長久以來成了金科玉律，以商界利益為優先已被視為理所當然。
最后，其实这个问题最有意思的部分并非其本身，而是题主「这还能称作殖民吗」的质问。事实上，香江的殖民模式从一开始就有其自己的特殊性，是一种让人不会时时刻刻感觉被殖民的殖民体制。
香江社会学者吕大乐曾经意蕴深长地提及过相关的话题。他说：
同樣值得反思的是，我對英國殖民統治的看法，也没有身邊一些馬來西亞的朋友般愛恨分明。在那些朋友眼中，殖民統治的壓迫性十分明顯，而且貼近日常生活。他們經常提醒，不要將香江看待為英式殖民統治的代表。香江是一個没有天然資源的殖民地，它的主要功能在於作為一個貿易的港口及英國進一步在區内拓展勢力的中途站，於是未有出现宗主國及其底下的商業利益需要徵用大量勞工，強迫或半强迫的要本地人口為它們提供動力的情况。殖民統治有不同形式，而甚至是同一個國家的殖民統治，在不同殖民地亦可以探取截然不同的統治形式（Steinmetz，2008）。這是一個關於殖民主義的政治經濟學的間題。
梁文道也在2010年说过：「要留意一點，其實香江是英國眾多殖民地裡面，英文教育最不同的一個殖民地了。香江所謂的英語教育和背後所蕴含的那種英式文化從來不深入，與檳城和新加坡不同，他們是有一大班人，學習英文之餘，亦學習一整套的英式花園大宅應該怎樣興建，甚麽時候喝下午茶，杯子要怎樣拿之類。我們並沒有這些，就算一些所謂『書院妹』、『書院仔』，他們亦不貫徹整套英国文化的學習。相對來說，香江是比較技術性的。」作为一个海港殖民地，英国的管治方式是并不相同的。
另一方面来说，正如吕大乐指出的一样，香江市民的被殖民的体验，从一开始就不是遭到英国人强行政治压制与文化同化的愤恨与悲愤，是一种针对殖民统治心存疏离感的冷经验——「殖民政府在建立统治霸权上，并未有彻底地令被殖民者完完全全归顺，在政治及文化控制上存在一些裂缝，给后者可以跟建制保持一定距离的空间，没有真正融入殖民制度里面。……面对殖民政府时，它体现为阳奉阴违；在日常生活里则表现为与建制的低度接触。它是一种消极的反抗。」在通过民众运动实现殖民地解放从来没有成为过香江政治现实一部分的大环境下，在实践民族主义等于回国服务的现实中，抗拒殖民地的情绪主要表现为与殖民体制核心保持距离。而「那个殖民主义的环境的最大特点，就是它容许大多数港人与殖民制度保持一种距离，将精神与时间放在个人的生活与活动空间之上」。
直到1960年代，殖民地制度的腐败以及明显的华洋不平等，还在赤裸裸地提醒着人们殖民地的现实存在。然而到了1970年代，随着港英对施政进行积极改善与改良，香江市民开始觉得这是一个有行政效率、能推动经济发展与解决社会问题的殖民地政府。与此同时，1970年代开始兴起的本土市民运动与港英政府对社会诉求的回应，却也重新界定了政府与市民的关系，让市民与政府之间产生了一种新的互动，让二者的关系不再为「互不存在」。在这种情况下，随着国共两大在港阵营的崩坏，港英主导的殖民体制开始成为主流，香江人在1970年代中期开始改变他们对社会与港英殖民统治的看法。在这种民情转向中，上述的那种疏离感发生了异化，殖民统治似乎开始发生了明显的软化，主观上港英政府变成了香江政府，香江社会变成了市民的社会，以至于越来越让人察觉不到自己正在一个遭到外国人奴役的殖民地生活。
梁文道如此总结这种感觉：
你會见到一些人是願意被殖民的，為甚麽會這麽奇怪呢？就如你剛才所說，晚期的殖民主義已經和我們讀書時期所認識的殖民主義是兩回事。在香港的殖民主義晚期，大家不會再見到威利警司毆打市民，亦不會感覺到殖民的管治；相反，見到的是刚才羅永生所說的以華制華，即是一種代理人政治，以及一些已經植入你腦海的那些所謂觀念——法治的觀念。這些觀念，令到大家以為生活在一個擁有法治與自由的社會，但現實上，正如刚才羅永生提到，是一種虛擬自由主義。
1970年代的遗产——「看不见的殖民主义」，一直延续到了英殖统治结束的一刻。然而，这种没有外国宪兵警棍、没有一群欧人骑在头上的殖民主义，真的就不是殖民主义了吗？更何况，大家常常将政治自由与经济自由混淆了。我们不应该忘记，直到1980年代港英政府开始代议制改革为止，香江的闽竹政策确实极其乏善可陈，经济上的自由并没有为它带来实际上的政治自由主义，社会管控上也还是有由邢审批制等紧箍咒，其毋宁说延续下来的是一种「自由专制」的统治方式——不少人将其庸俗地总结为「有自由没闽竹」。
英国人打造的从来不是什么天堂，即使是从自由民主主义的角度来看，经过麦理浩式改革后的最终改良版体制，也有解体的必要性。如果说繁荣与高自由度是英国人带来的，那么大资本家的经济垄断与繁荣下的穷困、功能组别制，一样是他们的因果。
回到这个问题的最开始部分，现在我们可以试着正面回答它了。我们不妨直白一点说，如果不是港英政府维持了它的殖民统治（而不是被大陆收复），就没有今天的资本主义香江——在这个中西的枢纽之地，没有殖民主义，就没有资本主义，这一点正是沉积着浓厚殖民制度残余的资本主义制度依然在今天延续的原因。「無疑，殖民結構和制度已經減弱，但後殖民城市引人注目的不是它與殖民城市的差異，而是它繼續保持相似的程度。」当对抗这一点的解殖来到时，这并不是意味着改换一面旗帜、更改一个政府、让人心从英国回到桃花石这么简单，正如英殖的关键也不是让香江人都以自己是大英臣民为豪这么简单——英国人从来没有试图培养过香江人对英国的认同。香江殖民主义最重要的从来不是主子是谁，而是在地的合作人。
既然经济总是大家关注的焦点，那么其实重点也就在经济上。这种解殖本质上呼唤的是一种政治经济的解放，它的课题是旧有的殖民结构，如官商勾结的统治方式、精英耦合的行政吸纳、不尊重劳动大众的城市规划等等。在一个没有国族就无法讨论左翼解放的地方，在经历了世纪末被背叛的解放以后，解放也才更成为其难以言明的必要归结。
最后回答一下问题最核心的部分吧。从架空的角度来说，假如英国殖民延续到今天——换言之蒋记国民政府在大陆的统治延续到了今天，香江将没有今天的繁荣。只有在一个它必须「如此强势地」回归的时间线，才会有它在英殖下前所未有的繁荣。
感谢 @sjj78903 提供资料