Lý Phú Triệu xuất thân từ gia tộc Lý thị của Hồng Kông, gia tộc này được mệnh danh là "gia tộc Kennedy của Hồng Kông”
Gia tộc Lý thị có nguồn gốc từ Hạc Sơn, Quảng Đông. Cha của Lý Thạch Bằng là Lý Gia Thành, là người đầu tiên trong gia tộc đến Hồng Kông "kiếm vàng", nhưng chỉ là khách qua đường thôi. Lúc Lý Gia Thành qua đời, Lý Thạch Bằng mới 5 tuổi. Lý Thạch Bằng bắt đầu từ việc làm thợ học việc, dựa vào tinh thần phấn đấu, tự mình lập nghiệp, dần dần xây dựng nền móng trăm năm cho gia tộc Lý thị ở Hồng Kông.
Lý Thạch Bằng là một thương nhân thông minh. Hắn hiểu rõ chỉ có học tiếng Anh mới có thể giao thiệp với người nước ngoài, mới có thể lập nghiệp trong giới kinh doanh do người Anh kiểm soát. Vì vậy, năm 17 tuổi, hắn đã chủ động đăng ký vào học trường giáo hội St. Joseph's College, trở thành một trong những học sinh người Hoa đầu tiên của trường này. Hắn cũng yêu cầu con cái của mình như vậy, đặc biệt tìm người nước ngoài dạy tiếng Anh cho cậu con trai cả Lý Quan Xuân.
