8月24日(农历六月二十八)，出生于河北省临榆县秦皇岛镇(现秦皇岛市)。在家排行第三，兄弟姐妹共四人。父裴广济，母王氏。兄弟几个按照年龄顺序依次为：裴永才、裴永华、裴永富、裴素玉(女)。裴永富即裴荣富。参加工作后改用裴荣富，意为繁荣富强。

裴广济(1882—1834)，生于山东聊城于集乡席庙村。早年携家来到河北临榆，留在秦皇岛开漆矿务局工作，是一名负责设备管理的小职员。