許紹雄在香港出生，很小的時候就隨著母親來到了廣州，家庭條件特別的好，其太公許應騤是慈禧太后的乾兒子，官拜一品，獲賜可在紫禁城騎馬，姑婆是魯迅夫人許廣平，叔公許崇智是參與創立黃埔軍校的粵軍總司令，另一位叔公許崇清則擔任過廣州教育局長。此外，許紹雄與名流許晉亨、李嘉欣所屬的許愛周家族亦有親屬關係。粵語老片《七子登科》就是講他們家族的故事。在1960年，他們回歸故土來到香港，在中學畢業之後，許紹雄待在父親的玉石店裡面看店，在1972年，許紹雄加入了無線電視。