Hola @arubert, Bienvenido a la comunidad!.
Te dejo mi opinión al respecto.
Hace bastante tiempo los procesadores de 64 bits funcionaban con kernel de 32 bits y posteriormente aparacieron los kernel PAE para aprovechar mas memoría RAM creo recordar, pero puede que tu procesador no este soportado por el actual kernel que tienes instalado. Piensa que la arquitectura 32 bits está en deshuso y se está eliminando el soporte o ya no se soporta, por lo que simplemente estarías aplazando algo inevitable quizás unos meses (si hablamos a nivel de seguridad) y además perdiendo los beneficios de los 64 bits.
Mi consejo haz una copia de seguridad (siempre deberías de hacerla, en cualquier caso) y haz una instalación limpia en 64 bits para evitarte problemas.
Saludos.