1852年，謬勒的父親赫爾曼出生。謬勒和他的父親名字完全相同，因此通常將他父親叫老赫爾曼，老赫爾曼在紐約城市學院學習國際法，後來於1873年曾到德國斯圖加特深造。後來他遇到了法蘭西斯·萊昂斯，並同她結了婚。法蘭西斯與謬勒的父親一洋，是第二代美國移民，她的爺爺也是在19世紀40年代從英國移民到美國來的。弗朗西絲婚後，先生下艾達，後來又於1890年10月21日生下小赫爾曼。