Les Rudiments païens se situent à la croisée d'une métaphysique pulsionnelle (préalablement développée dans Économie libidinale) et d'une approche pragmatique des discours (qui trouvera son apogée dans Le Différend). Disparates tant par les noms — Freud, Butor, Bloch, Guérin, Marin... — que par les domaines approchés — psychanalyse, littérature, théologie, politique, sémiologie... —, les chapitres qui composent ce livre se réclament cependant d'un commun « paganisme ». Inscrit dans la triple décadence de l'unité, de la finalité et de la vérité, ce nom programmatique et polémique désigne le « refus d'accorder à aucun discours une autorité [...] établie une fois pour toutes sur tous les autres ».
À l'instar des païens qui affirment la multiplicité des dieux et des cultes, Lyotard affirme la multiplicité des discours et des enjeux, en se riant des prétentions totalisatrices et fondationnelles que le souci du vrai induit. En montrant que si les discours ont une force, ils le doivent moins à leur pouvoir de conviction qu'à leur puissance d'invention, Lyotard cherche non pas tant à rejeter la théorie qu'à la repenser selon une tout autre logique, tolérante aux singularités. L'intention n'a donc rien d'irrationaliste, elle est en réalité toute politique. S'attaquer à la position de maîtrise de la théorie, revendiquer l'inventivité, c'est ouvrir un nouveau terrain à la pratique politique en la découplant du vrai. Démontrer l'idée d'autorité dernière, c'est affirmer la décadence de la finalité et du pouvoir central qui l'organise, c'est penser un temps ouvert à l'événement et à l'intensité.