于这两个世家，传说于家起源于始皇帝时代，当时于家不是姓于，而是姓徐，徐家的祖先便是中国历史上大名鼎鼎的徐福。始皇帝派徐福带五百童男童女去海外仙山寻找长生不死药，徐福历经磨难，终于找到了长生不死药，同时，还有一部天书（入了始皇陵墓）。药是寻到了，但始皇帝已死，徐福痛苦难当，觉得辜负了始皇帝的信任，不能称之为人，于是改徐为余。
当时的长生不老药一共有两颗，一颗入了始皇帝的陵墓，一颗徐福自己收起来，但徐福还没来得及享用便死去了，被他的儿子享用了，活了276岁。到了秦二世的时候，李斯奉秦二世之命命余家（当时徐福已死）继续寻找长生之术（药），但因为秦二世残暴至极，残害世人，致使民不留声，余家不愿意替其寻找长生不死药，遂避世隐退，改余为于，归隐山林后，因没有什么经济来源，便开始盗墓，同时，根据徐福的遗言，长生不老药是在地下寻来，其后人亦寻找地下长生之术，这一寻，便是两千多年。
与于家起源相近的便是封家。封家，封家的祖先是汉武帝时期的人，汉武帝是中国历史上追求长生不老之术的最有名的皇帝之一，虽然被人欺骗数十次，但依旧相信长生不死之术。汉武帝听说西王母有长生不老之术，只有乘天马才能载着他去昆仑山与西王母相会，而天马就是汗血宝马，于是汉武帝命大将李广利出征大宛，目的是为了抢夺良马。据《汉书?礼乐志》载有汉武帝获大宛天马后所写《天马》诗:“天马徕，开远门，竦予身，逝昆仑。天马徕，龙之媒，游阊阖，观玉台。”文颖注曰:“言武帝好仙，常庶几天马来，当乘之发昆仑也。”
汉武帝在寻天马的同时，又派封家祖先先行昆仑，寻找西王母所住的瑶池仙境，找长生不老之术，封家便是在一时期立家成族，此后亦在不断寻找长生之术。南封北于这两个世家一个在南，一个在北，寻找长生的方向一个在东，一个在西。一个是为大秦服务，一个是对大汉服务，而大秦刚好又被大汉所灭，所以在后话才有男封北于两天涯之说，两家不联姻可能亦与这些有关。
