Хочешь удержать — отпусти. Если решил, пусть едет. Главное, чтобы у него было желание поехать к отцу, а не уехать от Вас.