Hijo de un tendero, se trasladó de niño a Tánger para estudiar en el Liceo francés. En 1963 inició sus estudios de Filosofía en Rabat. En estos años fue ingresado en un campo de disciplina, donde empezó a escribir poemas. En 1971 se exilió a Francia y se doctoró en la Universidad de París cuatro años después, con una tesis en Psiquiatría social.
Sus primeros libros, Cicatrices del sol y El discurso del camello, son recopilaciones de poemas sobre mitos y leyendas, sin dejar de lado los problemas sociales de la sociedad magrebí. Estos temas también están presentes en sus primeras narraciones, Harrouda (1973) y Moha el loco, Moha el sabio (1978), donde la narración no lineal dificulta la lectura pero añade una reflexión sobre el propio acto de narrar, desde los más antiguos relatos orales árabes. En 1987 se convirtió en el primer autor magrebí que conseguía el prestigioso Premio Goncourt por su novela La noche sagrada. Al año siguiente, el Gobierno de su país le ofreció ser ministro de Cultura y Comunicación, pero Jelloun prefirió «salvaguardar mi libertad de escritor y ciudadano».
Su obra volvió a ser reconocida internacionalmente cuando en 2004 ganó con el Premio Impac con Sufrían la luz. Editada en español en 2001 y en inglés en 2003, la novela narra la historia de un grupo de militares que en 1971 intentaron derrocar a Hassan II, pero fueron detenidos y encarcelados en medio del desierto. El jurado describió la novela como «una obra maestra que realza el verdadero objetivo de la literatura como sólo un libro de entre muchos lo consigue». En 2005 la crítica francesa recibió con grandes elogios su nueva novela, El último amigo, en la que destacan los elementos autobiográficos; los protagonistas, por ejemplo, son internados en un campo de disciplina durante su etapa universitaria, como le ocurrió al propio Jelloun.
Otras de sus obras son La reclusión solitaria (1976), que permitió a Jelloun aplicar sus conocimientos sobre temas psiquiátricos; El niño de arena (1985), que supuso su consagración como autor, y Los náufragos del amor, cuyo protagonista es un escritor marroquí que atraviesa una grave crisis personal.
Fiel al papel comprometido de la literatura, Jelloun escribió ensayos sobre temas diversos, como La más alta sociedad (1977), El elogio de la amistad y Papá, ¿qué es el racismo?, que obtuvo un notable éxito de ventas en Francia y fue adoptado por millares de escuelas en este país y también en Bélgica, Italia, Israel y Alemania. También colaboró con los diarios Le Monde, La Repubblica y El País.