José Alberto se sinceró al decir que al finalizar la etapa que vivieron como parte de la familia presidencial, la convivencia con sus hijas es mucho mejor: "Todo hasta ahorita es una gran comunicación y una gran convivencia", compartió.
José Alberto Castro y Angélica Rivera se conocieron cuando filmaron el video del tema musical Macumba, interpretado por Verónica Castro. Años más tarde, coincidieron en los foros de la telenovela Valentina y con el paso del tiempo iniciaron una relación amorosa.
Vivieron en unión libre durante 10 años, tiempo en el que trajeron a este mundo a sus hijas, Sofía, quien nació en octubre de 1996 y Fernanda, en 1999.
En 2004, contrajeron matrimonio por la iglesia en una ceremonia en donde sólo estuvo presente su familia. Un año más tarde nació Regina.
Cuatro años después, anunciaron su divorcio y a finales del 2008 se hizo pública la relación sentimental entre Angélica Rivera y Enrique Peña Nieto, de quien se divorció en 2019.