Né à Toulon le 21 octobre 1939, Serge Livrozet ne connaît pas son père, sa mère se prostitue. Sa première école est celle de la rue. À dix-huit ans, pour s'émanciper, il rejoint l'armée, avant de résilier son engagement et d'effectuer divers métiers. La justice lui reproche vite des cambriolages. Incarcéré, il met ce temps à profit pour décrocher le baccalauréat et se fait remarquer comme « meneur » des révoltes qui secouent alors les prisons françaises.
Publié en 1973, son premier livre, De la prison à la révolte, est préfacé par Michel Foucault. Serge Livrozet entend tirer leçon de son statut de prisonnier. Notre origine sociale détermine notre parcours, argue-t-il, s'élevant contre la peine de mort et les quartiers de haute sécurité (QHS), et ce n'est pas un hasard si les prisons regorgent d'individus issus des classes les plus pauvres de la société. D'autres livres suivront - essais (Hurle !, Aujourd'hui, la prison, Lettre d'amour à l'enfant que je n'aurai pas, La Dictature démocratique, Irons-nous aux voix ?, etc.) et romans (Diego, Le Sang à la tête, L'Outrage en plus, La Femme truquée...).
Il se revendique ouvertement de la tradition anarchiste et adhère brièvement à la CNT (Confédération nationale du travail). En 1986, alors qu'il dirige une imprimerie, une librairie et une maison d'édition (à l'intitulé des Lettres libres) à Paris, il est accusé d'avoir fabriqué une quantité importante de fausses coupures - « la plus grosse saisie de faux billets jamais réalisée en France », selon la presse de l'époque. Un temps incarcéré, il est acquitté par la cour d'assises (cf. L'Empreinte). Les cinéphiles gardent mémoire de cet homme aux facettes multiples acteur dans L'Emploi du temps (Laurent Cantet, 2001) et Vendeur (Sylvain Desclous, 2015), ainsi que des deux documentaires émouvants que lui a consacrés Nicolas Drolc (Sur les toits et La mort se mérite).