1918年至1920年，桂系军阀入主广东，大肆倡赌。霍芝庭以每月缴饷3万元，承租广州市番摊赌博最热闹的地段，设立了“明生”、“荣生”、“广恒”、“广益”四大番摊公司。陈炯明杀回广东后下令禁绝烟赌，霍芝庭逃往香港。
1923年，桂滇军又入据广东，开放烟赌。滇军招商承办全省山铺票，战事尚未结束，各赌商不敢冒险投承。结果霍芝庭以月饷51万元承办。滇军与他约定试办3个月，期满后再行协议。霍芝庭在试办的3个月，获纯利20万元。期满后，政局稳定，省财政厅收回山铺票的投承权，公开招商承投。结果霍芝庭又以月饷10万元中标。是年，霍芝庭获纯利近百万。霍芝庭对赌业兴趣愈浓，每年都设法投得山铺票的承办权，并雄心勃勃，时刻想染指香港、澳门的赌博业。霍芝庭认为，若要在赌博行业干出一番辉煌的业绩，最佳地点是在澳门。
1930年初，卢九为了投得澳门赌场的经营权，主动找上门来，希望得到霍芝庭的支持。霍芝庭喜出望外，联合香港康年银行创办人李声炬鼎力支持卢九，使“豪兴公司”再度投得澳门赌场的经营权，并成为该公司的主要股东和后台。
霍芝庭发现卢九虽热衷于赌业，实际上并无经验，且无大志。澳门赌业所以停步不前，正是因为没有雄才大略之人。
1930年5月，霍芝庭从广州来到澳门，受到了卢九、范洁朋、何士等人的盛情接待，并陪同观看了二、四楼的赌场，请求指点。以一代赌王自居的霍芝庭当场指出澳门赌业较过去虽有进步，但品种太单调，必须增设“番摊”、“骰宝”、“牌九”等新鲜玩意，旨在吸引香港、内地更多的赌客。卢九等人欣然接受。为了讨好他，还提供澳门最靓的女人为他服务……霍芝庭不觉有点飘飘然。
一天晚宴，卢九向他敬酒，说：“澳门赌业有今天，全仰仗着霍老板的扶植……请接受澳门赌业同仁的敬意，希望霍老板有时间经常过来指点。”
霍芝庭已有几分醉意，便毫无顾忌地把心里话全说了出来：“经常过来？澳门也算是我的一块地盘，我当然会常来！”
卢九、范洁朋等人一愣，心底涌起一阵不快，只是不表现出来，慌忙用碰杯来掩饰。谁知霍芝庭根本不在乎众人怎么想，继续说：“大陆市场虽大，但太容易受政治牵制，今天一个样，明日一个样，一惊一乍，没个稳定。香港呢，市场比澳门大，英国政府也禁止赌博，比较起来还是澳门好，自开埠以来政府一直倡赌。这条路子很对，弹丸之地又无出产，不靠赌如何发展？我早就有了一个构想，在大陆与澳门两地都开设赌场。如大陆不禁赌，可以放心大赚；若大陆禁赌，大陆赌客自然会涌入澳门，还是大赚，哈哈！”
