实实在在地说，三年半的不间断殖民过程之后，本岛还是连一个体面的华人居民都没有……附近海滨满清官员的政策是不让任何体面华人定居香江；他们控制着这些人的家眷，因此可以十分有效地做到这一点。与此同时，据我看，他们还提供鼓励和便利，以便将所有的窃贼、海盗、游民及无赖从大陆驱来香江……下层华人从不会把他们的妻小带来香江。岛上的店东都是待几个月就走，然后就由另一批人接手；实际上，岛上有的仅仅是一群不断变动的游牧民，他们居无定所，巧取豪夺，放荡好贺，因此完全不适合从事稳定的营生。对于殖民地建设来说，此类臣民不但无用，而且极其有害。
——1844年，港英库务司
只靠英国人的话，香江就是上面的这个样子。
一开始，英国人的确对香江寄予厚望，如驻华商务总监砵甸乍（Henry Pottinger）就憧憬香江会成为「伟大的东方商业重镇」。然而，他们的希望很快就落空了。1842年7月，《广州周报》慨叹香江的卖地和营商环境欠佳，令华人买家「穷得像老鼠一样，他们所有的钱都拿去建房子，而这里的少数欧籍居民也一样穷，他们全是卖家，没有一个买家」。除此以外，疾病也在肆虐蔓延。1843年5月，驻港英军中有近25％的人死于疟疾。海盗环绕在香江港口的四周，香江土地上的罪行也十分猖獗。华南的中国大商人几乎无人来香江做生意，只有依靠盘剥取利的中国小商人来这里营商。
由于转口贸易发展缓慢，香江纯粹变成伦敦孤悬海外的殖民地、鸦片生意中转的天堂。一些英国人本来以为，先前被广州垄断的中外贸易会被引来香江殖民地。然而，由于《南京条约》不仅割让了香江，还新开放了五个通商口岸，导致香江变得不适于合法的正常交易。在黯淡的商业前景下，香江的作用唯有充当鸦片的中转站，或者为普遍预计会有的第二次中英战争充当军事基地。如果不是香江作为一个安全的客栈，可以接受从遍布沿海各地的非法大烟馆运来的货物，它可能早已在1840年代末被英国人抛弃。至于那些相信香江是鸦片贸易专属场地的走私贩子，他们则在香江的土地与建筑上投入巨额资本，促进了香江的早期城市化。事实上，香江这个「对华走私鸦片首要基地」的身份一直在19世纪延续下去，一直到1909年才正式结束。
1844年7月，港英政府的库务司罗伯特·蒙哥马利·马丁（Robert Montgomery Martin）撰写报告，表示英国应该放弃香江，理由是这里的气候、地势和营商环境太差。他描述道，欧洲商人怀著「某种幻觉」，以为香江「很快会超越新加坡，并成为东半球的蒂尔（Tyre）或迦太基（Carthage）」，因而在这里投资、建房。然而，这个小岛的商业前景十分黯淡，完全无法与新加坡相提并论。
马丁以激烈的言辞，抱怨道：
似乎有人亟欲把大部分中国赔款花在这个讨厌、荒芜、有碍健康和一无是处的岛上，就算投入英国全部财富、人才和精力，都无法把此岛变成宜居或体面的英国殖民地。……无论如何，香江成为贸易地的希望似乎都极为渺茫。……新加坡繁荣所系的地理、领土和商业优势，香江全部付诸阙如，也永远无法创造。……我看不出英国政府有何理由要为香江花哪怕是一个先令。
厌恶香江的马丁只在这里待了几个星期，就在身体健康不良的情况下辞职离开香江。尽管1844～1848年间担任港督的戴维斯（John Davids）指控马丁的观点「夸大与片面」、马丁本人有「很固执的偏见」，但马丁的这种看法并不是孤例。
当时的《德臣西报》写道：「耐人寻味的是，明明有那么多选择，为何我们的谈判官员会选中香江这样荒凉不毛的讨厌荒岛。」植物学家福钧做出预言：「从用作贸易通商之地的角度看，我担心香江会失败。」后来成为维多利亚教区会督的施美夫牧师也说：「即使从商业观点看，根据最权威的判断者说，在这样的情况下，当初获取香江所寄以的期望，连一小部分也永远难以实现。」1845年8月，31名香江英商联名上书伦敦的殖民地大臣，表示香江已无商业潜力。1847年5月，怡和洋行老板央孖地臣（Alexander Matheson）告诉英国下议院，如果不是他们已投资了大量金钱于香江土地和建筑物，大部分英国商行早就撤出香江了。
香江开埠多年以后，位于广州与澳门的清朝商人都继续留在当地，拒绝前往香江。其理由之一，是规模较大的外国商行在香江和广州都设有办事处，所以清朝商人大多前去广州。理由之二，是香江提供不了什么经济利益，英国商人宁可直接去大陆的五个通商口岸采购物资，而不是绕路前来香江。1845年，担任英国驻华商务监督汉文正使的德国传教士郭士立（Karl Gützlaff）说：「期望有船会从那些开放英国通商的口岸来到香江买货，是徒劳无功的，因为他们在自己门前已可以用几乎相同的价钱买到货物。」尽管港英政府自视为「自由政府全面保障私人财产」，对大陆有着制度优越性，然而由于商人们在广州或者其他通商口岸做生意要更为有利，结果「家资余裕的人，没一个敢到香江经商，或在这个岛上建房子」（郭士立语，1846年4月）。在商人阶级实际的逐利天性面前，资本主义英属香江对封建主义大清的优势完全一文不值。
英国政府本来期望这些清朝的华南大商人会前来香江，但他们宁可雇佣英国航运公司从东南亚输入、出口商品，这些英国船不会在香江停泊。虽然到了1844年4月，香江约有两万名华人，但大型华资公司少之又少。蒂法尼观察到：「香江的船舶状况极差。岛上没有富裕的土著。」由于缺乏上述的这种大商人，一开始几乎没有华人在香江买地。1843年的公开土地竞投中，只有一两个华人买家。
并且，早期香江的社会恶劣现状，是得到英国殖民者公认的。总登记官塞缪尔·费伦于1845年写道：
英国舰队抵埠之后，大批船民闻风而至，他们向舰队供应军需及生活用品，由此而来的利润立刻让许多人脱离贫贱，大发其财。盘队提供的庇护很快就把我们的海岸变成走私天堂，带来诸多问题。他们不安于法律的约束，生活方式也不检点，由于有为中国法律所不容、并且有办法逃离中国的人。随着时间推移，对努力及公私工务的需求已经把数千人引来此地，其中大多数都是客家，亦即游民；这个种族的习俗、品性和语言都与其他华人不一样。他们漠视故乡的纽带至道德，尽管人们认为，遵守这些道德对于保持民族气节至关重要。他们不安于法律的约束，生活方式也不检点，于是便毫不犹豫地抛弃家庭和家族神灵，抛弃天生权利和先人庐墓，以可耻的方式四方逐利。香江的混乱状况，以及开埠初期的众多罪案，都为这个群体的败坏效应提供了充分的证据。
就连郭士立这位据说「颇为偏袒华人」的洋人，也认为「麋集于此地（香江）的人是道德水准最低劣的一类」。上面提到的殖民地官员马丁指出，在大陆人眼中，香江这个地方，「铤而走险和无所忌惮之人可以从英国人身上获得某种好处，盗匪和抢匪可以逍遥法外，以行恶取利为生」。施美夫牧师通常也形容香江华人社会主要由「土著社会中最卑劣的渣滓」和「地位与品格最低下的人」组成。福钧（Robert Fortune）则说：「城内盗贼如毛」。
面对这种现象，英国殖民者将其归咎于清朝官员一方面不让正派的华人前来香江，另一方面故意将「所有贼匪、海盗，以及游手好闲或不中用的游民」遣送到香江，破坏香江社会稳定。然而，事实并非如此。在这种畸形与恶劣的经济环境之中，就连来到香江的外国人也品德堕落。《经济学人》（The Economist）在1846年8月说：「香江现在什么都不是，只是一些鸦片私枭、士兵、官员和军舰水手的渊薮。」福钧写道，一开始外籍人口「大多是光明磊落和高尚的人」，到了1845年，外籍人口变成「非常龙蛇混杂的群体」。对此，美国访客奥斯蒙德‧蒂法尼则强调：「那些来自伦敦边缘地区，全靠运气好才没有被流放到博塔尼湾（Botany Bay）的替罪羊和流氓地痞，在维多利亚城可找到他们的踪影，这些家伙在那里作威作福，对本地人颐指气使，而相较于这些家伙从前或往后的模样，本地人大都更加正派和受人敬重。」
令殖民政府更为头疼的，则是治安不靖、海盗横行的问题。尽管英国殖民者在最初侵占香江时借助了海盗的力量，也与大多从事海盗的蜑家人密切合作，但他们在实际建政后依旧饱受海盗之苦。1840～1860年代间，这个海岛殖民地的四周都是海岛，1841年12月，《广州周报》报导说，海盗继续「令土著居民惶悚不安，英国当局肃清海盗的工作，至今仍未竟全功」。上述的美国旅客蒂法尼形容：「有一股凶悍盗匪在河口游弋，伺机劫掠，甚至杀人。他们常常藏匿于快艇之中，靠近不虞有诈的船舶，与之并行，顷刻间登船施袭。」海盗安插了眼线，对香江开往内地的船只动向了如指掌，故而船员只敢在风大时离港，希望这样可以让他们跑得比海盗快，或者成群结队地离港。1844年6月，一群多达160人的海盗洗劫了一座海边的货仓。
第二年初，港督戴维斯写信给阁麟（Thomas Cochrane）上将和清廷钦差大臣耆英，说：「东面鲤鱼门之狭窄水道，以及西面急水门和其他水道，均有武装船舶出没，封锁这些水道，使得利用土著船艇往来这个殖民地的贸易，陷入严重瘫痪。」同年9月，英国海军部决定在两艘船上装设武器，由华人担任船员，英国军官指挥，巡逻四周水域并打击海盗，但这项计划只实行了很短时间。1853年，港督文咸（George Bonham）抱怨海盗过于猖獗，表示港英政府已不可能独力清剿。
来到1854年夏天时，面对海盗可能大举进犯的威胁，甚至整个香江都进入了紧急戒备状态。6月间居民人心惶惶，买办和店家已经或正打算把家人遣送回乡。海盗最终没有来袭，但维港两边水道都加设防御工事，并增加一队警察。当年10月，黄亚龙（Wong Aloong）和一群往来香江的船主向港英政府警告道，如果政府不出手打击海盗，他们就无法再前来香江，届时本地商人会因此而遭受损失。也是在1854年10月，就在不足一月之内，已有三艘船被海盗抢劫。往来香江的船舶只有不足一半敢来香江，令白米和木材价格飞涨。同月，副总督威廉‧坚（William Caine）报告，有位名叫卢绍广的豪商用船把家人和贵重物品从顺德运到香江，还雇了武装船护航。他的船队在这趟航程大都安然无恙，却在进入香江水域后受海盗袭击。1855年9月，港督宝灵（John Bowring）表示，海盗为患对「安逸生活与繁荣造成毁灭性的干扰」。
香江殖民地不仅海上没有法纪，在陆地上也是治安极度混乱。1844年时，罗伯特·蒙哥马利·马丁报告道：「欧籍居民就寝时不得不带著手枪，子弹上膛；为了保护自己的生命财产，常要在半夜从床上爬起来去对抗武装匪帮，这些匪帮为了劫掠大笔财物，牺牲几名自己人也在所不惜。」当时到访香江的英国海军军官特郎逊（J. M. Tronson），也在后日回忆说：「此城有一地区名叫太平山，是苦力以及来自中华帝国各地难民和无赖流氓聚居之地……有些不法之徒在岛上四处徘徊，每当遇上无力自卫的人就抢夺劫掠，无恶不作。」可见，对于当时的欧洲殖民者来说，香江的确并不宜居。
即便是港英政府可以依靠的汉奸——通常是鸦片走私商与承包商人——他们也不是欧洲殖民者可以真正信任的对象。最为典型的案例，就是常被传颂为「英国殖民解放蜑家人」例子的卢亚贵（又名卢贵、卢亚景、卢景），他从黄埔的船夫，一跃为香江早期的大商人、大地主。在英国人来到前，他已因海盗活动、为外国商船提供补给而发迹，成为了几个秘密结社的领袖。鸦片战争期间，清朝的广东政府希望卢亚贵可以在香江配合清军举事，并赏给他六品顶戴蓝翎，但卢亚贵口头答应，回到香江就为英军调集粮食。由于他为英国殖民香江所做出的杰出贡献，卢亚贵被赐予一幅位于下市场（Lower Bazaar，即今上环苏杭街、文咸街一带）的土地，此处后来成为大量香江华人聚居之地。
作为殖民地内富甲一方、权倾一方的华人，卢亚贵没有被马丁列入「体面华人」的行列，这并不是没有原因的。就跟所有华人富商一样，卢亚贵也乐善好施，但殖民地里的欧洲人都知道他牵涉走私、海盗和助长警察贪污腐败。《华友西报》经常抨击卢亚贵和他的「下市场帮」是海盗。施美夫牧师曾写道，据说卢亚贵「以放贷来支持一些声名狼藉之人，并以各种方式从放荡弛纵的行为和罪案中得益」。1861年11月，《华友西报》的编辑兼前殖民地官员台特仁（William Tarrant）说：「在我们接管之前」，「海王」卢亚贵「在海上环视香江，触目所及全是他这个大王的禁脔」。他甚至说，「品行端正的人不肯来此地定居，甚至不愿来访」，其中一大原因就是因为卢亚贵在香江称霸一方。
如果说初期的香江殖民地是中外鸦片交易的化身，那么卢亚贵就是这种殖民主义鸦片生意的道成肉身。为了确保属于他的鸦片专营权，他经常由华籍或印籍警察陪同，「巡查本地人的船艇和私宅，见到怀疑未经他批准出售的鸦片球就一概没收」。《广州周报》抱怨，在英治的香港，像卢亚贵这样的人却能「享有恍如暴君的势力鱼肉同胞，他们对同胞敲骨吸髓的方式，据说和中国官员在其他地方所做的事如出一辙」。《广州周报》写道，卢亚贵「压榨来到香江定居的华人，他们必须向他缴税才能获准任职就业」。《华友西报》形容「亚贵大王」用来监管鸦片贸易的那艘船，「是一艘不折不扣的私人缉私船，所作所为却仿佛是受到港英政府委托一样」。由于卢亚贵得到当地警察保护，「此殖民地的商业成为他的囊中物」。施美夫说，卢亚贵「以近乎判官的权力鱼肉怯懦华人，借此实行他的专卖……足以令品行端正的土著对香江裹足不前，他们意兴阑珊，不愿来香江定居」。《华友西报》也评论道，为了保障卢亚贵的专卖权，「殖民地的利益被牺牲，一方面土著贸易商被赶走，另一方面外国商人也弃此岛而去。」正由于有卢亚贵如此的人存在，「端方正派的华人」向《广州周报》肯定地说：「他们绝不可能来香江定居。」
不少华人从香江的这种黑暗现状之中，大胆猜测英国并不是要全心全意地保住这片殖民地。1842年7月，《华友西报》慨叹一幅拨予兴建中国庙宇的土地仍然空置。「延宕多时的唯一原因，据说是华人担心英国人会归还此岛，留下他们自生自灭。」即使1843年钦差大臣耆英表示要赦免曾为英军服务的华人，华人依旧怀疑英国保有香江的意愿和能力。而且，清廷不准移民的禁令依然有效。就在1844年7月，《广州周报》报导，一名在舟山为英国军需部工作的中国商人被当地政府抓走斩首。
另一方面，广东社会的反英帝运动接连不断。1844年11月，有反英揭帖号召华人离开殖民地，呼吁中国驱逐英夷。1845年4月，耆英下令禁止广州和香港的华人骚扰洋人，但1846年1月，一天以内再有两张反英揭帖出现：一张谴责广州当局对洋人软弱；另一张是「广东全省水陆乡村志士义民」发出的反英公檄。第二次鸦片战争期间，两广总督托人在香江各处街头遍贴揭帖，呼吁忠心者挺身反抗英夷，毒杀、刀砍英国人，烧毁他们的房屋。
在早期香江华人大大小小的抗英活动之中，最为著名的案例莫过于1857年的「面包投毒事件」，即「裕成办馆毒面包案」。此事的发生背景也是第二次鸦片战争，当时香江的华洋矛盾因此高涨。当年1月15日早上，有300～500名欧洲人在食用裕成承包的早餐后砒霜中毒，其中有3人因砒霜造成的长期影响而去世，包括港督夫人。裕成办馆的老板张霈霖等华人虽被港英政府拘捕，但最高法院最终裁定其罪名不成立，只将张霈霖等人驱逐出境。
与这种抗英运动形成鲜明对比的，是早期港英政府同样高压的殖民暴政。在前文频繁出现的《华友西报》（The Friend of China）之所以没有在后续的香江历史中出现，就是因为编辑威廉·塔兰特（William Tarrant）因撰文指控当时辅政司布烈治（William Thomas Bridges）与署理总督威廉·坚（William Caine）贪污，分别于1857年和1858年两次被判罚款和监禁。塔兰特出狱后不久，该报就关闭了其在香江的业务，并迁至广州。对于批评港英政府的英国报人而言，香江还不如广州自由。
回望最初的岁月，在上述的经济、政治、人文等方面，英属香江殖民地呈现得极为黯淡，对于中国人、英国人与其他人来说都是一个黑暗世界。英国殖民者原本相信自己的自由贸易等自由主义制度会将香江从一个小渔村发展为享誉世界的深水港，一个远东贸易的天堂，如今它却在英国人的手中变成了犯罪横行、鸦片成堆的地狱。这或许也是一种「那些许诺天堂的人，最后打造的只是地狱」。
人们对香江的历史叙述，往往被自由主义-现代主义叙述所主宰，这种论述总是一成不变地重复那个香江奇迹般走向成功的故事：香江原本只是一个小渔村，是英国人将其建设为资本主义大都会。而英国人之所以施展魔法，将香江从荒岛变成自由经济的乌托邦、「资本主义天堂」，是因为殖民政府拥有善政与良策的力量，即英国所代表的资本主义制度优越性。然而，在香江殖民地最初的十年内，这种资本主义制度只带来了鸦片贩子与犯罪者的乐园，做正经生意的商人都宁可留在封建的大清。
真正为这种情况带来转机的，是被内地经济危机与社会动荡被赶来的第二波华人移民。英国强加给中国的自由贸易帝国主义给华南地区的经济造成了巨大的影响，广东地区尤为损失惨重。一方面，许多广东帆船在外国快船面前毫无竞争力，这个行业因此崩溃；另一方面，外国进口的工商业也导致当地的手工业分崩离析。这种经济危机促使太平天国起义爆发，而天国革命又促成了接近20年的南方社会大动荡。接连不断的战争导致广东人纷纷逃亡相对秩序井然的香江，使香江获得了大量的人口。1858～1862年间，香江人口增长率近65％。华人数目的增加使这个殖民地越发繁荣，这又进一步吸引了富裕华人的到来，打破了此前的恶性循环。
来自华南的难民潮，同时也让香江殖民地发了一笔苦力贸易的财。1850年12月，香港官员米切尔（W. H. Mitchell）写道：「本殖民地的前景一点也不令人泄气……不要忘记，美国西岸的华人人口快将大增，而香江将成为主要的供应港。」1855～1900年间，有接近180万中国移民在香江登船前往国外。在1850年代，华人出洋是香江商业繁荣的主因，欧籍商人和华商同样从中受惠。在这种苦力贸易几乎所有环节，华人都有参与：如在香江和其他口岸诱骗华工出洋的拐子、契约商和其他中间人、香江的经纪人和船主，等等。和兴号与兴和号是经营加州苦力贸易的两大经纪行，它们都是由华人商拥有。苦力贸易是笔大生意，许多香江商人，不论华人还是外国人，都是靠这门生意财富大增。
随着香江拥有了一个新加坡不具备的优势——苦力贸易的中心，它越来越从孤悬海外的殖民地，转变为跨国贸易网络的中心，这个贸易网络由中国沿岸伸延到东南亚，再一路扩展至澳洲和北美洲。海外华人社会对于茶叶、糖、干货、大米、藤器等中国土产需求很大，因此香江的出口量攀升。香江华人数目增加，令此地对中国土产的需求大增，与此同时，为应付新的海外华人社会需求，转口贸易也蓬勃发展起来。海外华侨通常先到香江落脚，再远赴海外，所以他们与香江保持广泛的商业联系。苦力贸易和货物出口，也使香江成为华南和东南亚的主要航运枢纽。为移民船提供设备、维修和补给之类的新服务，促进了经济发展。苦力贸易进一步协助香江建立与厦门、澳门和广州的商业联系，这几个商埠向香江供应了移民和补给品。针对移民贸易的新型专业服务也应运而生。甚至律师行和国际大银行也得到了很大的发展，而来自海外华人的侨汇，则由众多小型华人银号和汇兑庄来处理。
难怪，伦敦传道会的理雅各把1850年代形容为「香江发展的转折点」了。晚清思想家王韬初到香江时，「为经纪者多著短后衣，天寒外服亦仅大布，妇女不务妆饰，妓女多以布素应客，所谓金翠珠玉借以作点缀者，仅一二而已」，后来他察觉「港中近日风气一变，亦尚奢华，……嗣后日渐富侈……而往时朴素之风渺矣。热闹场中一席之费，多至数十金，灯火连宵，笙歌彻夜，繁华几过于珠江，此亦时会使然欤」。1859年3月，港督宝灵也在报告中指出，香江土地和房屋价值在过去五年大增，他并说「华人房屋的品质愈来愈上乘，是显示情况好转的极为显著和令人欣慰的迹象。」
这样的一幕，不禁让人想起刚好一百年后的香江殖民地。二战前香港远远逊色于上海，上海占英国在华利益的76.6％，香江只占9.3％；二十年代国民革命爆发当时，英国比起香江，也更为重视上海的军事安危。然而，随着中国革命在1940年代末的全面胜利，英国殖民势力被驱出几乎整个大陆，只剩下香江的一隅之地。由于美国对革命中国实行贸易禁运，香江又成为大陆对外的贸易转口港，「突破以美国为首的西方阵营对我国实行封锁禁运的前沿阵地」。结果，被禁香江从中得到了巨大的商业契机，工商业迅猛发展，成就了自己的经济奇迹。
因此，应当说香江是依靠内地形势发展起来的。