A medida que envejecía, Huo Zhenghui era conocido por tener mal genio. No solo no se llevaba bien con sus hijos, sino que también era estricto con su gente. La situación empeoró cuando, uno tras otro, sus hijos murieron de enfermedades y accidentes que lo dejaron sin un sucesor.
Su hijo mayor murió a los cuarenta y cinco años, dejando atrás a una esposa sin hijos. Tres años después, su hijo menor murió en un accidente automovilístico, dejándolo con el segundo hijo, a quien había expulsado de la empresa años atrás y que luego se convirtió en el padre de Huo Yunhao.
Huo Yunxi se casó con una mujer alemana llamada Irina Augenstein mientras se establecía en Europa, lejos de la familia Huo. Aunque más talentoso e inteligente comparado con sus dos hermanos, Huo Yunxi no tenía pasión ni interés en dirigir el negocio familiar, enfureciendo a su padre.