Utilisation de la mémoire¶

L'utilisation de la mémoire par xz varie de quelques centaines de kilo-octets à plusieurs gigaoctets en fonction des paramètres de compression. Les réglages utilisés lors de la compression d'un fichier déterminent les besoins en mémoire pour la décompression. Habituellement la décompression nécessite 5 % à 20 % de la quantité de mémoire utilisée pour la compression du fichier. Par exemple, décompresser un fichier créé avec xz -9 requiert actuellement 65 Mio de mémoire. Pourtant, il est possible d'avoir des fichiers .xz nécessitant plusieurs gigaoctets de mémoire pour être décompressés.

En particulier, les utilisateurs de vieux systèmes peuvent trouver ennuyeux l'utilisation de beaucoup de mémoire. Pour éviter les mauvaises surprises, xz a un limiteur d'utilisation de la mémoire intégré qui est désactivé par défaut. Bien que quelques systèmes d'exploitation fournissent des moyens pour limiter l'utilisation de la mémoire par les processus, leur utilisation s'est avérée insuffisamment flexible (par exemple l'utilisation de ulimit(1) pour limiter la mémoire virtuelle tend à pénaliser mmap(2)).

Le limiteur d'utilisation de la mémoire peut être activé avec l'option --memlimit=limite. Généralement, il est plus pratique d'activer le limiteur par défaut en réglant la variable d'environnement XZ_DEFAULTS, par exemple XZ_DEFAULTS=--memlimit=150MiB. Il est possible de régler les limites indépendamment pour la compression et la décompression en utilisant --memlimit-compress=limite et --memlimit-decompress=limite. Utiliser ces deux options hors de XZ_DEFAULTS est rarement utile, car une simple exécution de xz ne peut pas à la fois compresser et décompresser et --memlimit=limite (ou M limite) est moins long à taper sur la ligne de commandes.

Si la limite d'utilisation de la mémoire est dépassée lors de la décompression, xz affichera une erreur et la décompression échouera. Si la limite est dépassée lors de la compression, xz essaiera d'adapter les réglages pour que la limite ne soit plus dépassée (sauf lors de l'utilisation de --format=raw ou de --no-adjust). De cette façon, l'opération n'échouera pas sauf si la limite est très petite. L'adaptation des réglages est faite par paliers et n'aboutira pas forcément aux réglages prédéfinis du niveau de compression, par ex. si la limite est seulement légèrement plus petite que la quantité requise par xz-9, les réglages seront réduits un tout petit peu, mais pas jusqu'à xz-8.

Concaténation et remplissage avec des fichiers .xz¶

Il est possible de concaténer les fichiers .xz tels quel. xz décompressera de tels fichiers comme s'ils étaient un unique fichier .xz.

Il est possible d'insérer du remplissage entre les parties concaténées ou après la dernière partie. Le remplissage doit se composer d'octets nuls et la taille du remplissage doit être un multiple de quatre octets. Cela peut être utile par exemple si le fichier .xz est stocké sur un média qui mesure la taille des fichiers en blocs de 512 octets.

La concaténation et le remplissage ne sont pas autorisés avec les fichiers .lzma ou les flux bruts.

Suffixes entiers et valeurs spéciales.¶

Dans la plupart des endroits où un argument entier est attendu, un suffixe optionel permet d'indiquer facilement les grands entiers. Il ne doit pas y avoir d'espace entre l'entier et le suffixe.

KiB

Multiplier l'entier par 1024 (2^10). Ki, k, kB, K et KB sont acceptés comme synonymes de KiB.

MiB

Multiplier l'entier par 1 048 576 (2^20). Mi, m, M et MB sont acceptés comme synonymes de MiB.

GiB

Multiplier l'entier par 1 073 741 824 (2^30). Gi, g, G et GB sont acceptés comme synonymes de GiB.

La valeur spéciale max peut être utilisée pour indiquer la valeur maximale de l'entier prise en charge par l'option.

Mode d'opération¶

Si plusieurs options de mode d'opération sont données, la dernière prend effet.

-z, --compress

Compresser. C'est le mode d'opération par défaut lorsque aucune option de mode opératoire n'est spécifiée ou qu'aucun autre mode d'opération n'est sous-entendu par le nom de la commande (par exemple unxz sous-entend --decompress).

-d, --decompress, --uncompress

décompresser

-t, --test

Tester l'intégrité des fichiers compressés. Cette option est équivalente à --decompress --stdout sauf que les données décompressées sont rejetées au lieu d'être écrites sur la sortie standard. Aucun fichier n'est créé ou supprimé.

-l, --list

Afficher l'information sur les fichiers compressés. Aucune sortie non-compressée n'est produite et aucun fichier n'est créé ou supprimé. En mode liste, le programme ne peut pas lire les données compressées depuis l'entrée standard ou depuis d'autres sources non adressables.

Le listing par défaut montre les informations basiques des fichiers, un fichier par ligne. Pour des informations plus détaillées, utilisez aussi l'option --verbose. Pour encore plus d'informations, utilisez --verbose deux fois, mais prenez en compte que cela peut être lent, car obtenir des informations supplémentaires nécessite de nombreuses recherches. La largeur de la sortie «bavarde» dépasse 80 caractères, alors canaliser la sortie (par exemple vers less-S) peut être pratique si le terminal n'est pas assez large.

La sortie exacte peut varier suivant les versions de xz et les différents paramètres régionaux. Pour une sortie lisible par la machine, utiliser --robot --list.

Modificateurs d'opération¶

-k, --keep

Ne pas effacer les fichiers d'entrée.

À partir de xz 5.4.0, cette option fait aussi que xz compresser ou décompresse même si l'entrée est un lien symbolique vers un fichier normal, a plus qu'un lien physique, ou a le bit setuid, setgid ou sticky défini. Les bits setuid, setgid et sticky bits ne sont pas copiés dans le fichier cible. Dans les versions antérieures, cela était seulement fait par --force.

-f, --force

Cette option a plusieurs effets :

-c, --stdout, --to-stdout

Écrire les données compressées ou décompressées sur la sortie standard plutôt que dans un fichier. Cela necessite --keep.

--single-stream

Décompresser seulement le premier flux .xz et ignorer silencieusement les possibles données d'entrée résiduelles qui suivent le flux. Normalement ces déchets excédentaires provoquent l'affichage d'une erreur par xz.

xz ne décompresse jamais plus d'un flux à partir de fichiers .lzma ou de flux bruts, mais cette option fait aussi que xz ignorera les données résiduelles après le fichier .lzma ou le flux brut.

Cette option n'a aucun effet si le mode d'opération n'est pas --decompress ou --test.

--no-sparse

Désactiver la création de fichiers peu denses. Par défaut, lors de la décompression en un fichier normal, xz essaie d'en faire un fichier creux si les données décompressées contiennent de longues séquences de zéros binaires. Cela fonctionne aussi lors de l'écriture sur la sortie standard aussi longtemps que la sortie standard est connectée à un fichier normal et que certaines conditions supplémentaires sont satisfaites pour le faire de manière sécurisée. Créer des fichiers creux peut épargner de l'espace disque et accélérer la décompression en réduisant la quantité d'entrées/sorties sur le disque.

-S .suf, --suffix=.suf

Lors de la compression, utiliser .suf comme suffixe du fichier cible au lieu de .xz ou .lzma. Si xz n'écrit pas sur la sortie standard et si le fichier source a déja le suffixe .suf, un avertissement est affiché et le fichier est ignoré.

Lors de la décompression, reconnaître les fichiers avec le suffixe .suf en complément des fichiers avec le suffixe .xz, .txz, .lzma ou .tlz. Si le fichier source a le suffixe .suf, le suffixe est enlevé pour obtenir le nom de fichier cible.

Lors de la compression ou décompression de flux bruts (--fomat=raw), le suffixe doit toujours être spécifié à moins d'écrire sur la sortie standard, car il n'y a pas de suffixe par défaut pour les flux bruts.

--files[=fichier]

Lire les noms de fichier à traiter depuis fichier ; si fichier est omis, les noms de fichier sont lus sur l'entrée standard. Les noms de fichier doivent se terminer avec le caractère de nouvelle ligne. Un tiret (-) est considéré comme un nom de fichier normal ; ce qui ne signifie pas entrée standard. Si les noms de fichier sont aussi donnés comme arguments de ligne de commande, ils sont traités avant les noms de fichier lus depuis fichier.

--files0[=fichier]

Cela est identique à --files[=fichier] sauf que chaque nom de fichier doit se terminer par le caractère null.

Format de fichier basique et options de compression¶

-F format, --format=format

Indiquer le format de fichier à compresser ou décompresser :

-C vérif., --check=vérif.

Spécifier le type d'intégrité à vérifier. La vérification est calculée à partir des données non-compressées et stockées dans le fichier .xz. Cette option n'a effet que si la compression a été faite dans le format .xz ; le format .lzma ne gère pas les vérifications d'intégrité. Le contrôle d'intégrité (s'il y en a) est vérifié lorsque le fichier .xz est décompressé.

Types de vérification pris en charge :

L'intégrité des en-têtes .xz est toujours vérifiée avec CRC32. Il n'est pas possible de le changer ou de le désactiver.

--ignore-check

Ne pas contrôler la vérification d'intégrité des données lors de la décompression. Les valeurs CRC32 dans les en-têtes .xz seront normalement toujours vérifiées.

N'utilisez pas cette option à moins de savoir ce que vous faites. Les raisons possibles pour utiliser cette option :

-0 ... -9

Choisir un niveau de compression prédéfini. La valeur par défaut est 6. Si plusieurs niveaux de préréglage sont spécifiés, c'est le dernier qui sera pris en compte. Si une chaîne de filtres personnalisée a déjà été choisie, définir un niveau de compression préréglé efface la chaîne de filtres personnalisée.

Les différences entre les préréglages sont plus significatives qu'avec gzip(1) et bzip2(1). les réglages de compression sélectionnés déterminent les exigences en mémoire pour la décompression, ainsi, utiliser un niveau de préréglage trop élevé peut rendre difficile à décompresser un fichier sur un vieux système avec peu de RAM. Clairement, ce n'est pas une bonne idée d'utiliser -9 aveuglément pour tout comme ça l'est souvent avec gzip(1) et bzip2(1).

Sur le même matériel, la vitesse de décompression est sensiblement un nombre constant d'octets de données compressées par seconde. En d'autres termes, meilleure est la compression, plus rapide sera en général la décompression. Cela signifie aussi que la quantité de sortie non compressée produite par seconde peut varier beaucoup.

Le tableau suivant résume les caractéristiques des préréglages :

Descriptions des colonnes :

-e, --extreme

Utilisez un variant plus lent que les préréglages (-0 à -9) pour espérer avoir un taux de compression légèrement meilleur, mais en cas de malchance cela peut être pire. L'utilisation mémoire du décompresseur n'est pas affectée, mais l'utilisation mémoire du compresseur augmente un peu aux niveaux de préréglages de -0 à -3.

Dans la mesure où il y a deux préréglages avec des tailles de dictionnaire de 4 Mio et 8 o, les préréglages -3e et -5e utilisent des réglages légèrement plus rapides que -4e et -6e, respectivement. De cette manière, il n'y a pas deux préréglages identiques.

Par exemple, il y a un total de quatre préréglages qui utilisent un dictionnaire de 8 Mio et qui sont dans l'ordre du plus rapide au plus lent : -5, -6, -5e et -6e.

--fast

--best

Il y a néanmoins des alias trompeurs pour -0 et -9, respectivement. Ils ne sont fournis que pour des besoins de rétro-compatibilité avec les utilitaires LZMA. Évitez d'utiliser ces options.

--block-size=taille

Lors de la compression dans le format .xz, les données de l'entrée sont réparties en blocs de taille octets. Les blocs sont compressés indépendamment les un des autres, ce qui aide avec le mode multithread (multi-threading) et rend possible la décompression à accès aléatoire limité. Cette option est typiquement utilisée pour outrepasser la taille de bloc en mode multithread, mais cette option peut aussi être utilisée en mode mono-thread.

En mode multithread, environ trois fois la taille octets seront alloués à chaque thread pour mettre en mémoire tampon les entrées et sorties. Par défaut, la taille est trois fois la taille du dictionnaire LZMA2 ou 1 Mio, en fonction de ce qui convient le mieux. Habituellement, une bonne valeur est deux à quatre fois la taille du dictionnaire LZMA2 ou au moins 1 Mio. Utiliser une taille moindre que celle du dictionnaire LZMA2 est un gaspillage de RAM car alors la mémoire tampon du dictionnaire LZMA2 ne sera jamais entièrement utilisée. Les tailles des blocs sont stockées dans les en-têtes de blocs, qui seront utilisés dans une future version de xz pour la décompression multithreadée.

Par défaut, il n'y a pas de répartition de bloc en mode mono-thread. Régler cette option n'affecte pas l'utilisation de la mémoire. Aucune information de taille n'est stockée dans l'en-tête de bloc, par conséquent les fichiers créés en mode single-thread ne seront pas identiques aux fichiers créés en mode multi-thread. Le manque d'information de taille signifie aussi qu'une future version de xz ne sera pas capable de décompresser les fichiers en mode multi-thread.

--block-list=tailles

Lors de la compression dans le format .xz, commencer un nouveau bloc après les intervalles donnés des données non compressées.

Les tailles non-compressées des blocs sont spécifiées sous forme de liste séparée par des virgules. Omettre une taille (deux ou plus virgules consécutives) est un raccourci pour utiliser la taille du bloc précédent.

Si le fichier en entrée est plus grand que la somme des tailles, la dernière valeur est répétée jusqu'à la fin du fichier. Une valeur spéciale de 0 peut être utilisée comme étant la dernière valeur pour indiquer que le reste du fichier devrait être encodé comme un simple bloc.

Si on spécifie des tailles qui excèdent la taille du bloc de l'encodeur (soit la valeur en mode threadé, soit la valeur spécifiée avec --block-size=taille), l'encodeur créera des blocs supplémentaires tout en gardant les limites indiquées dans tailles. Par exemple, si on indique --block-size=10MiB--block-list=5MiB,10MiB,8MiB,12MiB,24MiB et que le fichier fait 80Mio, on aura 11 blocs de 5, 10, 8, 2, 10, 10, 4, 10, 10, et 1 Mio.

En mode multi-threadé les tailles de blocs sont stockées dans les en-têtes du bloc. Cela ne se fait pas en mode mono-threadé, la sortie encodée ne sera donc pas identique à celle faite en mode multi-threadé.

--flush-timeout=temps_d'attente

Lors de la compression, si plus que temps_d'attente millisecondes (un entier positif) se sont écoulées depuis le précédent vidage et que lire plus de données bloquerait, toutes les données d'entrée en attente sont vidées de l'encodeur et mises à disposition dans le flux de sortie. Cela peut être utile si xz est utilisé pour compresser les données qui sont diffusées sur un réseau. Des petites valeurs de temps_d'attente rendent les données disponibles à l'extrémité réceptrice avec un léger retard, mais les grandes valeurs de temps_d'attente donnent un meilleur taux de compression.

Cette option est désactivée par défaut. Si cette option est indiquée plus d'une fois, la dernière prend effet. La valeur spéciale de temps_d'attente de 0 peut être utilisée pour explicitement désactiver cette option.

Cette option n'est pas disponible sur les systèmes qui ne sont pas POSIX.

Cette option est encore expérimentale. Actuellement, xz ne convient pas pour décompresser le flux en temps réel en raison de la façon dont xz effectue la mise en mémoire tampon.

--memlimit-compress=limite

Indiquer une limite d'utilisation de la mémoire pour la compression. Si cette option est indiquée plusieurs fois, c'est la dernière qui est prise en compte.

Si les paramètres de compression dépassent la limite, xz ajustera les paramètres à la baisse pour que la limite ne soit plus dépassée et affichera un avis indiquant que l'ajustement automatique a été effectué. De tels ajustements ne sont pas effectués lors de la compression avec --format=raw ou si --no-adjust a été spécifié. Dans ces cas, une erreur est affichée et xz se termine avec le code de retour 1.

La limite peut être indiquée de plusieurs façons :

Pour le xz en 32 bits, il y a un cas particulier : si la limite est supérieure à 4020o, elle est rabaissée à 4020o. (Les valeurs 0 et max ne sont pas affectées par cela. Il n'y a pas d'option similaire pour la décompression). Celà peut s'avérer utile lorsqu'un exécutable 32-bits a accès à un espace d'adresse de 4 Gio sans s'avérer néfaste dans les autres situations.

Voir aussi la section Utilisation de la mémoire.

--memlimit-decompress=limite

Régler une limite d'utilisation de la mémoire pour la décompression. Cela a un effet sur le mode --list. Si l'opération n'est pas possible sans dépasser la limite, xz affichera une erreur et la décompression échouera. Voir --memlimit-compress=limite pour les manières possibles d'indiquer la limite.

-M limite, --memlimit=limite, --memory=limite

C'est équivalent à indiquer --memlimit-compress=limite--memlimit-decompress=limite.

--no-adjust

Afficher une erreur et quitter si les réglages de compression dépassent la limite d'utilisation de la mémoire. Le comportement par défaut consiste à ajuster les réglages vers le bas pour que l'utilisation de la mémoire ne soit pas dépassée. L'ajustement automatique est toujours désactivé lors de la création de flux bruts (--format=raw).

-T threads, --threads=threads

Indiquer le nombre de threads à utiliser. Régler threads à la valeur spéciale 0 fait que xz utilisera autant de threads qu'il y a de cœurs de CPU sur le système. Le nombre effectif de threads peut être moins que threads si le fichier en entrée n'est pas assez gros pour la threading avec les réglages donnés ou si l'utilisation de plusieurs threads dépasserait la limite d'utilisation mémoire.

Actuellement, la seule méthode de gestion avec des threads consiste à séparer l'entrée en blocs et de les compresser indépendamment les uns des autres. La taille par défaut des blocs dépend du niveau de compression et peut être remplacée avec l'option --block-size=taille.

La décompression threadée n'a pas encore été implémentée. Cela ne fonctionnera qu'avec des fichiers contenant de multiples blocs avec une information sur la taille dans les en-têtes de bloc. Tous les fichiers compressés en mode multithread sattisfont cette condition, mais pas les fichiers compressés en mode single-thread même si l'option --block-size=taille est utilisée.

Chaînes de filtres de compresseur personnalisées¶

Une chaîne de filtres personnalisée permet d'indiquer les réglages de la compression en détail au lieu de recourir aux préréglages. Lorsque une chaîne de filtres personnalisée est indiquée, les options préréglées (0 à 9 et --extreme) précédement sur la ligne de commande sont oubliées. Si une option de préréglage est indiquée après une ou plusieurs options de chaîne de filtre personnalisée, le nouveau préréglage prend effet et les options de la chaîne de filtres personnalisée précédement indiquée sont oubliées.

Une chaîne de filtre est comparable à une redirection (pipe) sur la ligne de commande. Lors de la compression, les entrées non compressées vont au premier filtre, dont la sortie va au prochain filtre (s'il y en a). La sortie du dernier filtre est écrite sur le fichier compressé. Le nombre maximal de filtres dans la chaîne est quatre, mais habituellement, un chaîne de filtre n'a qu'un ou deux filtres.

Beaucoup de filtres ont des limitations sur l'endroit où ils peuvent se placer dans la chaîne de filtre : quelques filtres ne peuvent fonctionner qu'en tant que dernier filtre dans la chaîne, quelques uns en tant que non dernier filtre, et d'autres à n'importe quelle position dans la chaîne. Suivant le filtre, cette limitation est soit inhérente au profil du filtre, soit existe pour des raisons de sécurité.

Une chaîne de filtres personnalisée est indiquée en utilisant une ou plusieurs options de filtre dans l'ordre où elles sont souhaitées dans la chaîne de filtres. Cela fait, l'ordre des options de filtre est significatif! Lors du décodage des flux bruts (--format=raw), le filtre de chaîne est indiqué dans le même ordre qu'il fût indiqué lors de la compression.

Les filtres prennent des options spécifiques aux filtres sous la forme d'une liste séparée par des virgules. Les virgules supplémentaires dans les options sont ignorées. Toutes les options ont une valeur par défaut, donc vous ne devez indiquer que celles que vous voulez changer.

Pour voir l'entièreté de la chaîne de filtres et ses options, utilisez xz -vv (ce qui est comme utiliser --verbose deux fois). Cela fonctionne aussi pour voir les options de chaîne de filtres utilisées par les préréglages.

--lzma1[=options]

--lzma2[=options]

Ajouter le filtre LZMA1 ou LZMA2 à la chaîne de filtres. Ces filtres ne peuvent être utilisés que comme dernier filtre dans la chaîne.

LZMA1 est un filtre historique, qui n'est pris en charge presque uniquement à cause de l'ancien format de fichier .lzma, qui ne prend en charge que LZMA1. LZMA2 est une version mise à jour de LZMA1 pour régler certains problèmes pratiques de LZMA1. Le format xz utilise LZMA2 et ne prend pas du tout en charge LZMA1. Les taux et vitesses de compression de LZMA1 et LZMA2 sont pratiquement identiques.

LZMA1 et LZMA2 partagent le même ensemble d'options :

Lors du décodage des flux bruts (--format=raw), LZMA2 nécessite seulement la taille du dictionnaire. LZMA1 nécessite aussi lc, lp et pb.

--x86[=options]

--powerpc[=options]

--ia64[=options]

--arm[=options]

--armthumb[=options]

--sparc[=options]

Ajouter un filtre branch/call/jump (BCJ) à la chaîne de filtres. Ces filtres ne peuvent être utilisés que s'ils ne sont pas le dernier filtre de la chaîne de filtrage.

Un filtre BCJ convertit les adresses relatives du code machine en leurs équivalents absolus. Cela ne change pas la taille des données, mais évite les redondances, ce qui peut aider LZMA2 à produire un fichier .xz 0 à 15 % plus petit. Les filtres BCJ sont toujours réversibles, ce qui fait qu'utiliser un filtre BCJ pour le mauvais type de données n'occasionne pas de perte de données, même si ça pourrait empirer légèrement le taux de compression.

Il est possible d'appliquer un filtre BCJ sur l'ensemble d'un exécutable ; il n'est pas nécessaire de l'appliquer uniquement sur la section exécutable. Appliquer un filtre BCJ sur une archive contenant à la fois des fichiers exécutables et des fichiers non-exécutables pourrait, ou non, donner de bons résultats, donc il n'est généralement pas bon d'appliquer aveuglémént un filtre BCJ lors de la compression de paquets binaires pour leur distribution.

Ces filtres BCJ sont très rapides et utilisent une quantité insignifiante de mémoire. Si un filtre BCJ améliore le taux de compression d'un fichier, il peut en même temps améliorer la vitesse de décompression. Cela parce que sur un même matériel, la vitesse de décompression de LZMA2 est approximativement un nombre fixe d'octets de données compressées par seconde.

Ces filtres BCJ présentent des problèmes connus liés au taux de compression :

Les deux problèmes ci-dessus seront réglés dans le futur dans un nouveau filtre. Les vieux filtres BCJ seront toujours utiles dans les systèmes embarqués, car le décodeur du nouveau filtre sera plus gros et utilisera plus de mémoire.

Les différents jeux d'instructions ont un alignement différent :

Dans la mesure où les données filtrées par BCJ sont généralement compressées avec LZMA2, le taux de compression peut être légèrement amélioré si les options de LZMA2 sont indiquées pour la correspondance d'alignement du filtre BCJ sélectionné. Par exemple, avec le filtre IA-64, il est bon d'indiquer pb=4 avec LZMA2 (2^4=16). Le filtre x86 est une exception ; il est généralement approprié de coller à l'alignement quatre octets par défaut de LZMA2 lors de la compression d'exécutables x86.

Tous les filtres BCJ prennent en charge les mêmes options :

--delta[=options]

Ajouter le filtre Delta à la chaîne de filtres. Le filtre Delta ne peut être utilisé que s'il n'est pas le dernier filtre dans la chaîne.

Actuellement, seul le calcul simple du delta par octet est pris en charge. Il peut être utile lors de la compression, par exemple, des images bitmap non compressées ou de l'audio PCM non compressé. Toutefois, des algorithmes spécialisés peuvent donner des résultats nettement supérieurs à ceux de Delta + de LZMA2. Cela est spécialement vrai avec le son qui est compressé plus vite et mieux par exemple avec flac(1).

options prises en charge :

Autres options¶

-q, --quiet

Supprimer les avertissements et les notifications. Indiquer cela deux fois supprimera aussi les erreurs. Cette option n'a aucun effet sur le code de retour. Cela dit, même si un avertissement était supprimé, le code de retour indiquant un avertissement sera encore utilisé.

-v, --verbose

Être bavard. Si l'erreur standard est connectée à un terminal, xz affichera une barre de progression. Indiquer --verbose deux fois donnera une sortie encore plus bavarde.

La barre de progression montre l'information suivante :

Lorsque l'erreur standard n'est pas un terminal, --verbose fera écrire à xz le nom de fichier, la taille compressée, la taille décompressée, le taux de compression, et éventuellement aussi la vitesse et le temps écoulé sur une seule ligne de l'erreur standard après avoir compressé ou décompressé le fichier. La vitesse et le temps écoulé sont inclus seulement lorsque l'opération ne prend pas plus que quelques secondes. Si l'opération n'a pas fini, par exemple à cause d'une interruption faite par l'utilisateur, le pourcentage de complétion aussi est écrit si la taille du fichier en entrée est connue.

-Q, --no-warn

Ne pas mettre le code de retour à 2 même si une condition méritant un avertissement a été détectée. Cette option n'affecte pas le niveau de verbosité, néanmoins, les deux options --quiet et --no-warn doivent être utilisées pour ne pas afficher d'avertissements, ni altérer le code de retour.

--robot

Afficher les messages dans un format analysable par une machine. Ceci est destiné à faciliter l'écriture des frontaux qui voudraient utiliser xz plutôt que liblzma, ce qui pourrait être le cas pour différents scripts. La sortie avec cette option activée est destinée à rester stable sur les différentes versions de xz. Consulter le paragraphe ROBOT MODE pour les détails.

--info-memory

Afficher, dans un format lisible par l'humain, de combien de mémoire physique (RAM) dispose le système selon xz et les limites d'utilisation de la mémoire pour la compression et décompression, et quitter.

-h, --help

Afficher un message d'aide décrivant les options les plus couramment utilisées et quitter.

-H, --long-help

Afficher un message d'aide décrivant toutes les options de xz et quitter.

-V, --version

Afficher le numéro de version de xz et de liblzma dans un format lisible par un humain. Pour obtenir une sortie analysable par la machine, spécifiez --robot avant --version.

Version¶

xz --robot --version affichera le numéro de version de xz et liblzma dans le format suivant :

XZ_VERSION=XYYYZZZS
LIBLZMA_VERSION=XYYYZZZS

X

Version majeure.

YYY

Version mineure. Les numéros pairs sont stables. Les numéros impairs sont des versions alpha ou beta.

ZZZ

Niveau de correctif pour les options stables ou juste un compteur pour les options de développement.

S

Stabilité. 0 est alpha, 1 est bêta et 2 est stable. S devrait toujours être 2 quand YYY est pair.

XYYYZZZS sont identiques sur les deux lignes si xz et liblzma sont issus de la même version d'utilitaires XZ.

Exemples : 4.999.9beta est 49990091 et 5.0.0 est 50000002.

Information de limite de mémoire¶

xz --robot --info-memory affiche une seule ligne avec trois colonnes séparées par des tabulations :

1.

Quantité totale de mémoire physique (RAM) en octets

2.

Limite d'utilisation de la mémoire pour la compression en octets. Une valeur spéciale de zéro indique le réglage par défaut, lequel en mode mono-thread indique qu'il n'y a pas de limite.

3.

Limite d'utilisation de la mémoire pour la décompression en octets. Une valeur spéciale de zéro indique le réglage par défaut, ce qui est équivalent à sans limite en mode mono-thread.

Dans le futur, la sortie de xz --robot --info-memory pourrait avoir plus de colonnes, mais jamais plus qu'une ligne unique.

Mode liste¶

xz --robot --list utilise une sortie séparée par des tabulations. La première colonne de toutes les lignes possède une chaîne qui indique le type d'information trouvée sur cette ligne :

nom

C'est toujours la première ligne au début de la liste d'un fichier. La seconde colonne de la ligne est le nom de fichier.

file

Cette ligne contient l'information globale sur le fichier .xz. Cette ligne est toujours écrite après la ligne name.

stream

Ce type de ligne n'est utilisée que lorsque --verbose a été indiquée. Il y a autant de lignes stream qu'il y a de flux dans le fichier .xz.

block

Ce type de ligne n'est utilisé seulement lorsque --verbose a été indiquée. Il y a autant de lignes block qu'il y a de blocs dans le fichier .xz. Les lignes block sont affichées après toutes les lignes stream ; les différents types de lignes ne sont pas imbriqués.

summary

Ce type de ligne n'est utilisé que lorsque --verbose a été indiqué deux fois. Cette ligne est affichée après toutes les lignes block. Comme la ligne file, la ligne summary contient l'information globale sur le fichier .xz.

totals

Cette ligne est toujours la toute dernière ligne de la sortie. Elle affiche les comptes et les tailles totaux.

Les colonnes des lignes file :

Les colonnes des lignes stream :

Les colonnes des lignes block :

Si --verbose a été indiqué deux fois, les colonnes additionnelles sont inclues sur les lignes block. Elles ne sont pas affichées avec un seul --verbose, car l'obtention de ces informations nécessite de nombreuses recherches et peut donc être lente :

Les colonnes des lignes summary :

Les colonnes de la ligne totals :

Si --verbose a été indiqué deux fois, des colonnes supplémentaires sont incluses sur la ligne totals :

Les versions futures pourront ajouter de nouveaux types de lignes et de nouvelles colonnes pourront être ajoutées aux types de lignes existants, mais les colonnes existantes ne seront pas modifiées.

Niveaux de préréglage de la compression¶

La numérotation des préréglages de niveau de compression est différente entre les outils xz et LZMA. La différence la plus importante est la manière dont les tailles de dictionnaire sont affectées aux différents préréglages. La taille de dictionnaire est à peu près égale à celle d'utilisation de la mémoire de la décompression.

Les différences de tailles des dictionnaires affectent aussi l'utilisation de la mémoire du compresseur, mais il y a quelques autres différences entre les outils LZMA et les outils XZ, qui rendent la différence encore plus grande :

Le niveau de préréglage par défaut dans les outils LZMA est -7 alors que pour les outils XZ c'est -6, les deux utilisent ainsi un dictionnaire de 8 Mio par défaut.

Fichiers .lzma en flux ou non¶

La taille non compressée du fichier peut être stockée dans l'en-tête .lzma. C'est ainsi que font les outils LZMA avec les fichiers normaux. L'alternative est d'indiquer que la taille décompressée est inconnue et utiliser un marqueur de fin de charge pour indiquer où le décompresseur doit s'arrêter. Les outils LZMA utilisent cette méthode quand la taille décompressée n'est pas connue, ce qui est le cas par exemple dans les redirections.

xz prend en charge la décompression des fichiers .lzma avec ou sans marqueur de fin de charge utile, mais tous les fichiers .lzma créés par xz utiliseront un marqueur de fin de charge utile et ont la taille non compréssée marquée comme inconnue dans l'en-tête .lzma. Cela peut être un problème dans quelques situations inhabituelles. Par exemple, un décompresseur .lzma dans un périphérique embarqué pourrait ne fonctionner qu'avec des fichiers dont la taille non comprimée est connue. Si vous vous heurtez à ce problème, vous devez utiliser les utilitaires LZMA ou LZMA SDK pour créer des fichiers .lzma avec une taille non compressée connue.

Fichiers .lzma non pris en charge¶

Le format .lzma autorise des valeurs lc jusqu'à 8, et des valeurs lp jusqu'à 4. Les outils LZMA peuvent décompresser des fichiers avec tous les lc et lp, mais créez toujours les fichiers avec lc=3 et lp=0. Créer des fichiers avec d'autres valeurs lc et lp est possible avec xz et avec LZMA SDK.

L'implémentation du filtre LZMA1 dans liblzma nécessite que la somme de lc et lp soit inférieure ou égale à 4. Ainsi, les fichiers .lzma qui excèdent cette limitation ne peuvent pas être décompressés avec xz.

Les outils LZMA créent seulement des fichiers .lzma qui ont une taille de dictionnaire de 2^n (une puissance de 2) mais acceptent les fichiers avec toutes les tailles de dictionnaire. Libzlma n'accepte que les fichiers .lzma qui ont une taille dictionnaire de 2^n ou 2^n + 2^(n-1). Cela afin de diminuer les faux positifs lors de la détection des fichiers .lzma.

Ces limitations ne devraient pas poser de problème en pratique, car pratiquement tous les fichiers .lzma ont été compressés avec des réglages que liblzma accepte.

Déchets excédentaires¶

Lors de la décompression, l'utilitaire LZMA ignore silencieusement tout ce qui est après le premier flux .lzma. Dans la majorité des situations, c'est un bogue. Cela veut dire aussi que les outils LZMA ne gèrent pas la décompression de fichiers .lzma concaténés.

S'il reste des données après le premier flux .lzma, xz considère que le fichier est corrompu sauf si --single-stream a été utilisé. Cela peut casser des scripts obscurs qui ont supposé que les déchets de fin de ligne sont ignorés.

La sortie compressée peut varier¶

La sortie compressée exacte produite par les même fichiers non compressés en entrée peut varier en fonction des différentes versions de l'utilitaire XZ, même si les options de compression sont identiques. En effet, il est possible d'améliorer l'encodeur (compression plus rapide ou meilleure) sans affecter le format du fichier. La sortie peut même varier entre différentes compilations de la même version d'utilitaire XZ, si des options de construction différentes sont utilisées.

Cela signifie qu'une fois que --rsyncable a été implémenté, les fichiers résultants ne seront pas nécessairement synchronisables avec rsync à moins que les nouveaux et anciens fichiers n'aient été compressés avec la même version de xz. Ce problème peut être résolu si une partie de l'implémentation est gelée pour garantir la stabilité de la sortie rsyncable à travers les versions de xz.

Décompresseurs .xz embarqués¶

Les implémentations de décompresseur embarqué comme XZ Embedded ne gèrent pas nécessairement les fichiers créés avec d'autres types de vérification d'intégrité que none et CRC32. Comme la valeur par défaut est --check=crc64, vous devez utiliser --check=none ou --check=crc32 lors de la création de fichiers pour les systèmes embarqués.

En dehors des systèmes embarqués, tous les décompresseurs de format .xz gèrent tous les types de vérification ou sont au moins capables de décompresser le fichier sans effectuer la vérification d'intégrité si ce type de vérification particulière n'est pas pris en charge.

XZ Embedded prend en charge les filtres BCJ, mais seulement avec le décalage de départ par défaut.

Bases¶

Compresser le fichier toto en toto.xz en utilisant le niveau de compression par défaut (-6) et supprimer toto si la compression réussit :

xz toto

Décompresser bidule.xz en bidule et ne pas supprimer bidule.xz même si la compression réussit :

xz -dk bidule.xz

Créer truc.tar.xz avec le préréglage -4e (-4--extreme), lequel est plus lent que par exemle -6 (par défaut), mais nécessite moins de mémoire pour la compression et la décompression (48 Mio et 5 Mio, respectivement) :

tar cf - truc | xz -4e > truc.tar.xz

Un mélange de fichiers compressés et non compressés peuvent être décompressés vers la sortie standard avec une simple commande :

xz -dcf a.txt b.txt.xz c.txt d.txt.lzma > abcd.txt

Compression en parallèle de plusieurs fichiers¶

Sur GNU et *BSD, find(1) et xargs(1) peuvent être utilisés pour mettre en parallèle la compression de plusieurs fichiers :

find . -type f \! -name '*.xz' -print0 \


    | xargs -0r -P4 -n16 xz -T1

L'option P passée à xargs(1) fixe le nombre de processus xz en parallèles. La meilleure valeur pour l'option n dépend du nombre de fichiers à compresser. S-il n'y a que quelques fichiers, la valeur sera probablement 1 ; avec des dizaines de milliers de fichiers, 100 ou même plus serait approprié pour réduire le nombre de processus xz que xargs(1) créera éventuellement.

L'option -T1 de xz est là pour le forcer en mode mono-thread, car xargs(1) est utilisé pour contrôler la quantité de mise en parallèle.

Mode robot¶

Calculer combien d'octets ont été économisés au total après avoir compressé plusieurs fichiers :

xz --robot --list *.xz | awk '/^totals/{print $5-$4}'

Un script peut vouloir savoir qu'il utilise une version suffisamment récente de xz. Le script sh(1) suivant vérifie que le numéro de version de l'outil xz soit au minimum 5.0.0. Cette méthode est compatible avec les vieilles versions bêta, qui ne gèrent pas l'option --robot :

if ! eval "$(xz --robot --version 2> /dev/null)" ||


        [ "$XZ_VERSION" -lt 50000002 ]; then


    echo "Votre version de xz est trop ancienne."
fi
unset XZ_VERSION LIBLZMA_VERSION

Régler une limite d'utilisation de la mémoire pour la décompression en utilisant XZ_OPT, mais si une limite a déjà été définie, ne pas l'augmenter :

NEWLIM=$((123 << 20))  # 123 MiB
OLDLIM=$(xz --robot --info-memory | cut -f3)
if [ $OLDLIM -eq 0 -o $OLDLIM -gt $NEWLIM ]; then


    XZ_OPT="$XZ_OPT --memlimit-decompress=$NEWLIM"


    export XZ_OPT
fi

Chaînes de filtres de compresseur personnalisées¶

L'utilisation la plus simple des chaînes de filtres personnalisées est la personnalisation d'un préréglage LZMA2. Cela peut être utile, car les préréglages ne couvrent qu'un sous-ensemble des réglages de compression potentiellement utiles.

Les colonnes CompCPU des tableaux des descriptions des options -0 à -9 et --extreme sont utiles lors de la personnalisation des préréglages LZMA2. Voici les parties pertinentes recueillies à partir de ces deux tableaux :

Si vous savez qu'un fichier nécessite un dictionnaire relativement gros (par exemple 32 Mio) pour bien compresser, mais que vous vouliez le compresser plus vite que xz-8 ne le ferait, un préréglage avec une valeur basse de CompCPU (par exemple 1) peut être modifié pour utiliser un dictionnaire plus gros :

xz --lzma2=preset=1,dict=32MiB toto.tar

Avec certains fichiers, la commande ci-dessus peut être plus rapide que xz-6 tout en compressant bien mieux. Cependant, il faut souligner que seuls certains fichiers bénéficient d'un grand dictionnaire tout en gardant la valeur de CompCPU faible. La siutation la plus évidente où un gros dictionnaire peut baucoup aider, est une archive contenant des fichiers très similaires de quelques megaoctets chacun. La taille de dictionnaire doit être significativement plus grosse que tout fichier individuel pour permettre à LZMA2 de tirer pleinement partie des similarités entre des fichiers consécutifs.

Si une utilisation de la mémoire élevée pour la compression et décompression convient, et que le fichier à compresser a une taille de plusieurs centaines de megaoctets, il peut être utile d'utiliser un plus gros dictionnaire que celui fourni par xz-9 (64 Mio) :

xz -vv --lzma2=dict=192MiB gros_toto.tar

Utiliser -vv (--verbose--verbose) comme dans l'exemple ci-dessus peut être utile pour voir les besoins en mémoire du compresseur et du décompresseur. Rappelez-vous qu'utiliser un dictionnaire plus gros que la taille du fichier non compressé est un gachis de mémoire, donc la commande ci-dessus n'est pas utile pour les petits fichiers.

Parfois le temps de compression importe peu, mais l'utilisation de la mémoire du décompresseur doit être maintenue basse (par exemple, pour rendre possible la décompression d'un fichier sur un système embarqué). La commande suivante utilise -6e (-6 --extreme) comme base, et définit le dictionnaire à seulement 64 Kio. Le fichier qui en résulte peut être décompressé avec XZ Embedded (c'est pourquoi il y a --check=crc32) en utilisant environ 100 Kio de mémoire.

xz --check=crc32 --lzma2=preset=6e,dict=64KiB toto

Si vous voulez réduire au maximum le nombre d'octets, ajuster le nombre de bits de contexte littéral (lc) et le nombre de bits de position (pb) peut parfois être bénéfique. Ajuster le nombre de bits de position littéraux (literal position bits)(lp) devrait aider aussi, mais généralement lc et pb sont plus importants. Par exemple, une archive de code source contient majoritairement du texte US-ASCII, donc quelquechose du style de ce qui suit devrait donner un fichier légèrement (approximativement O.1%) plus petit que xz -6e (essayez aussi sans lc=4) :

xz --lzma2=preset=6e,pb=0,lc=4 code_source.tar

Utiliser un autre filtre avec LZMA2 peut améliorer la compression avec certains types de fichiers. Par exemple, pour compresser une bibliothèque partagée x86-32 ou x86-64 en utilisant le filtre BCJ x86 :

xz --x86 --lzma2 libtoto.so

Notez que l'ordre des options de filtre est significatif. Si --x86 est indiqué après --lzma2, xz donnera une erreur, car il ne peut y avoir aucun filtre après LZMA2, et aussi parce que le filtre BCJ x86 ne peut pas être utilisé comme dernier filtre dans la chaîne.

Le filtre Delta associé à LZMA2 peut donner de bons résultats avec les images bitmap. Cela devrait habituellement battre PNG, qui a quelques filtres avancés supplémentaires qu'un simple delta, mais qui utilise Deflate pour la compression effective.

L'image doit être sauvée dans un format non compressé, comme TIFF non compressé. Le paramètre de distance du filtre Delta est défini pour correspondre au nombre d'octets par pixel dans l'image. Par exemple, une image RGB 24 bits nécessite dist=3 et il est aussi recommandé de passer pb=0 à LZMA2 pour s'adapter à l'alignement trois octets :

xz --delta=dist=3 --lzma2=pb=0 toto.tiff

Si plusieurs images ont été mises dans une seule archive (par exemple .tar), le filtre Delta les modifiera pourvu que toutes les images ont le même nombre d'octets par pixel.