В юности был выгнан из университета за оскорбление профессора по литературе, который заявил, что у Эллисона нет таланта и ему не стоит писать. Эллисон воспринял это как самое жестокое оскорбление, как убийство мечты всей его жизни и ответил в присущей ему грубой манере без цензуры, за что был сразу же отчислен. Впоследствии он посылал каждую свою публикацию этому профессору, но не получил ни одного ответа.