James Ellroy est né à Los Angeles le 4 mars 1948 d'un père comptable et d'une mère infirmière d'origine allemande. Ses parents divorcent six ans plus tard. Sa mère obtient la garde du petit. Celui-ci a dix ans, lorsque sa famille emménage dans un quartier populaire de Los Angeles, El Monte. James est déjà un lecteur fervent de littérature policière.

Geneva Hilliker Ellroy (1915-1958), sa mère, est assassinée le 22 juin 1958 et retrouvée par une bande de jeunes près du lycée Arroyos. L'assassin ne sera jamais arrêté. James est confié à un père bienveillant, mais il est livré à lui-même. Il sombrera peu à peu dans la délinquance. C'est à cette époque que commencent ses premières intrusions. Il fait la connaissance de Randy Rice en 1961, à qui est d'ailleurs dédié Brown's Requiem.

James Ellroy se fait renvoyer du collège à 17 ans, sans diplôme. Alors que la santé de son père se dégrade, Ellroy s'engage dans l'armée en 1965 et fait ses armes en Louisiane. Le père succombera rapidement d'une crise cardiaque. Sa mort marque cependant le début d'une lente descente aux enfers. Ellroy se fait réformer de l'armée, il retrouve son ami Randy et sombre avec lui dans la consommation d'alcool et de drogue.

Ellroy vit plus de dix ans sans domicile, parfois dans de petites chambres d'hôtel miteuses, de boulots sporadiques, de larcins, dormant dans les parcs, s'introduisant chez les gens, moins pour cambrioler (il vole des sous-vêtements, de l'alcool, de l'herbe, des cartes de crédit), que pour ressentir le grand frisson,.

En 1975, un abcès au poumon ainsi qu'une double pneumonie le font renoncer aux abus d'alcool. Il prendra des amphétamines jusqu'en 1977, avant d'arrêter définitivement toutes substances toxiques. Il brise le cercle infernal dans lequel il s'est enfermé. Il devient caddie de golf à Los Angeles et commence une vie plus rangée. En 1978, il s'inspire de son expérience de caddie, de son amour pour la musique classique, pour poser la trame de fond d'un premier roman : Brown's Requiem, publié en 1981, et écrit selon son auteur "debout, dans une chambre d'hôtel miteuse". Il poursuit avec Clandestin (1982), tente de donner corps à une autre de ses obsessions, le gangstérisme juif des années trente et quarante, dans Confessions of Bugsy Siegel, mais le livre ne verra jamais le jour. Ses agents de l'époque, Otto Penzler de Mysterious Press et Nat Sobel, le convaincront de réécrire American Death Trap, livre complètement fou, qui donnera finalement Lune Sanglante. C'est à partir de ce moment que débute la série des Lloyd Hopkins (1984 - 1986), et au-delà, le commencement de sa carrière littéraire. James Ellroy décide d'abandonner le personnage de Llyod Hopkins, trop encombrant à ses yeux. En réalité, les motivations de l'écrivain sont ailleurs, écrire un livre sur le Dahlia Noir, avant que quelqu'un d'autre ne s'en empare.

Il publie ensuite Un tueur sur la route qui est le récit à la première personne du parcours d'un "serial killer". Cet ouvrage est devenu une des références majeures des écoles de formation de policiers tant il décrit avec précision la psychologie de la majeure partie des tueurs en série.

Il se lance après dans l'écriture du livre qui lui fera connaître la célébrité : Le Dahlia Noir, qui est une œuvre de fiction basée sur une histoire vraie légendaire du Los Angeles des années quarante, à savoir le meurtre le plus sanglant et le plus sadique qu'ait connu la ville ; meurtre d'une jeune starlette, Elizabeth Short, qui a été surnommée le Le Dahlia noir par un journaliste, en référence au Dahlia Bleu, film de série B de l'époque avec Veronica Lake notamment, qui a marqué les esprits. L'affaire du Dahlia Noir n'a à proprement parlé jamais été résolue. James Ellroy semble avoir utilisé ce fait-divers, pour commencer à exorciser le souvenir du meurtre de sa propre mère qui a eu lieu environ 11 ans et 5 mois après celui du dahlia, Elizabeth Short ayant été assassinée en janvier 1947. En réalité, James Ellroy a découvert cette histoire dans un livre que son père lui avait offert pour ses dix ans, quelques mois avant le meurtre de sa mère, d'où la "providence", le livre s'intitulant "The Badge" de Jack Webb, lequel a été quarante ans plus tard, préfacé par Ellroy lui-même. Dans L.A. Confidential, Jack Vincennes est inspiré de Jack Webb, flic vertueux et de droite du LAPD.

Il écrira à la suite trois autres romans ayant pour cadre la ville de Los Angeles dans les années 1940-1950 et pour thème le crime et la corruption. Il s'agit de : Le Grand Nulle Part, L.A. Confidential et White Jazz (certains des personnages du Quatuor apparaissent déjà dans Clandestin).

Toujours obsédé par l'histoire de sa mère il va tenter de résoudre, près de 40 ans après les faits, le meurtre de sa mère avec l'aide d'un policier de L.A. à la retraite (Bill Stoner). Ce sera l'occasion pour lui de retracer le parcours de sa mère depuis son enfance à elle et de se réconcilier avec elle et donc avec une part de lui même. Il en écrira le récit dans un livre autobiographique : Ma part d'ombre.

Il se présente comme un ermite vivant en vase clos pour éviter que l'univers de ses romans, qui se passent dans les années 1940 à 1970, soit perturbé par le monde contemporain.

Après avoir fui son Los Angeles natal et vécu à New York, Kansas City, il revient vivre à Los Angeles à partir de 2006. Il se sépare à cette époque d'Helen Knode, journaliste et écrivain, à qui est d'ailleurs dédié White Jazz.