Hijo de Ordoño II y de Elvira Menéndez, ocupó el trono el año 926, acabada una guerra civil que se desató a la muerte de Fruela II, disputando el reino al hijo de éste, Alfonso Froilaz, guerra en la que los hijos de Ordoño II, fueron apoyados por Sancho Garcés I de Navarra (que había sido puesto en el trono por su abuelo, Alfonso III de Asturias, y que además era suegro de Alfonso), así como por los nobles gallegos, que apoyaban a Sancho, por los portugueses que lo hacían con Ramiro y por los condes castellanos.

De esta forma, los hermanos se repartieron el reino en el 926 de la siguiente forma: A Sancho, primogénito de Ordoño II, le adjudicaron Galicia (926-929), desde la costa cantábrica hasta el río Miño, adonde acudió «gustoso», casándose con una gallega, Goto Núñez, y allí gobernó como rey. Al menor de los hermanos, Ramiro, le fueron atribuidas las tierras comprendidas entre el río Miño y la hoy ciudad portuguesa de Coimbra, tierras que también gobernó con el título de rey, contrayendo matrimonio con una dama del lugar, Adosina, y Alfonso Froilaz dominaba Asturias, donde se refugió y se hizo fuerte. Alfonso fue nombrado rey de León, según la Nómina rotense «recibió el reino» el 12 de febrero de 926.

Este periodo de la Historia de España es conocido de forma muy vaga: el historiador Claudio Sánchez-Albornoz opina que el hijo de Fruela, llamado también Alfonso, llegó a ocupar el trono al morir su padre, y que por tanto Alfonso IV sería en realidad Alfonso V.

Alfonso fue un Rey muy pacífico, con más inclinación hacia la vida religiosa que hacia la militar. Los hermanos mantuvieron buenas relaciones, y pese a que administrativamente pudieran regirse con una cierta independencia, lo cierto es que tanto política como militarmente estaban adscritos al centro absoluto del poder que estaba en León, y León era la capital dominante y dimanante de todas cuantas decisiones importantes se tomaban en el reino.

Alfonso IV visitó a su hermano mayor Sancho en su corte de Galicia, llevado por el afecto fraterno y la devoción a Santiago el Mayor, y cuando en el verano de 929 muere Sancho sin descendencia, Galicia aceptó sin dificultad el dominio de Alfonso IV, que la incorporó de nuevo a la corona de León.

Tan sólo un año después de la muerte de su hermano Sancho, muere su esposa Oneca (también llamada Jimena o Iñiga), hija de García Sanchez y de su esposa Toda Aznar, reyes de Navarra, con la que había tenido dos hijos, el futuro Ordoño IV de León y Alfonso, fallecido siendo niño. La muerte de Oneca pudo provocar en el rey lo que hoy podríamos llamar ansiedad o depresión y escasez de ánimo para seguir dirigiendo los destinos del reino, una situación delicada que le predisponía a la mística y al retiro espiritual.

Alfonso IV interviene en los asuntos internos del califato, pero con motivo de la rebelión de la ciudad de Toledo, el rey de León no socorre a los toledanos, y toma la iniciativa de enviar emisarios a su hermano Ramiro Ordoñez, que estaba en Viseo (Portugal), comunicándole su decisión de abdicar, lo que hizo en una ceremonia ante los nobles celebrada en Zamora, uniendo así el reino de nuevo, y a continuación tomó el hábito de monje e ingresó en el monasterio de Sahagún. Ramiro se hace cargo del reino, pero no se corona de inmediato sino que se dispone a atender sin más tardanza las demandas de auxilio de Toledo. Poco tiempo después, Alfonso se arrepintió de su decisión y quiso recuperar el trono por las armas apoyado esta vez por su primo Alfonso Froilaz y los hermanos de éste, dirigiéndose a León y proclamándose rey de nuevo, aprovechando que Ramiro estaba en Zamora, reuniendo la hueste real para atacar Madrid y socorrer a los mozárabes toledanos. Enterado Ramiro II de ello, vuelve a la capital y la rinde en el año 932.

Por una carta de 27 de junio de 931, probablemente la última, sabemos que Alfonso IV se hallaba en Burgos confirmando al monasterio de Cardeña en la posesión de una villa cercana a la ciudad, lo que indica que no fue apresado en León, como cuenta el cronista Sampiro, sino que había logrado llegar a Castilla creyendo contar allí con la ayuda de uno de sus fieles, el conde gallego Gutier Núñez que gobernaba aquella zona en su nombre, o para acogerse a ella, o incluso aprovechando la dirección de la retirada, para hallar un paso que le acercase a la corte navarra. Pero Ramiro fue tras él, sin darle oportunidad de que llegara a Navarra. Directamente o por algún otro conde, Ramiro apresa a su hermano y a sus primos, encerrándoles en la prisión tras cegarles, trasladándolos luego al monasterio de Ruiforco hasta su muerte. Fue enterrado en el mismo monasterio, pero su cuerpo se trasladó al Panteón Real de San Isidoro de León cuando éste fue construido.