Джеймс Эллрой родился в семье медсестры и бухгалтера. После развода родителей жил с матерью. В 1958 году она была убита, убийство осталось нераскрытым. Это нераскрытое убийство и подаренная отцом документальная книга о работе полиции «Полицейский жетон» повлияли на будущую писательскую карьеру Эллроя.