Utilisation de la mémoire¶

L'utilisation de la mémoire par xz varie de quelques centaines de kilo-octets à plusieurs gigaoctects en fonction des paramètres de compression. Les réglages utilisés lors de la compression d'un fichier déterminent les besoins en mémoire pour la décompression. Habituellement la décompression nécessite 5 à 20 de la quantité de mémoire utilisée pour la compression du fichier. Par exemple, décompresser un fichier créé avec xz-9 recquiert habituellement 65 Mio de mémoire. Bien qu'il soit possible d'avoir des fichiers .xz nécessitant plusieurs gigaoctets de mémoire pour être décompressés.

Especially users of older systems may find the possibility of very large memory usage annoying. To prevent uncomfortable surprises, xz has a built-in memory usage limiter, which is disabled by default. While some operating systems provide ways to limit the memory usage of processes, relying on it wasn't deemed to be flexible enough (for example, using ulimit(1) to limit virtual memory tends to cripple mmap(2)).

The memory usage limiter can be enabled with the command line option --memlimit=limit. Often it is more convenient to enable the limiter by default by setting the environment variable XZ_DEFAULTS, for example, XZ_DEFAULTS=--memlimit=150MiB. It is possible to set the limits separately for compression and decompression by using --memlimit-compress=limit and --memlimit-decompress=limit. Using these two options outside XZ_DEFAULTS is rarely useful because a single run of xz cannot do both compression and decompression and --memlimit=limit (or -M limit) is shorter to type on the command line.

If the specified memory usage limit is exceeded when decompressing, xz will display an error and decompressing the file will fail. If the limit is exceeded when compressing, xz will try to scale the settings down so that the limit is no longer exceeded (except when using --format=raw or --no-adjust). This way the operation won't fail unless the limit is very small. The scaling of the settings is done in steps that don't match the compression level presets, for example, if the limit is only slightly less than the amount required for xz -9, the settings will be scaled down only a little, not all the way down to xz -8.

Concaténation et remplissage avec des fichiers .xz¶

Il est possible de concaténer les fichiers .xz tels quel. xz décompressera de tels fichiers comme s'ils étaient un unique fichier .xz.

It is possible to insert padding between the concatenated parts or after the last part. The padding must consist of null bytes and the size of the padding must be a multiple of four bytes. This can be useful, for example, if the .xz file is stored on a medium that measures file sizes in 512-byte blocks.

La concaténation et le remplissage ne sont pas autorisés avec les fichiers .lzma ou les flux bruts.

Suffixes entiers et valeurs spéciales.¶

Dans la plupart des endroits où un argument entier est attendu, un suffixe optionel permet d'indiquer facilement les grands entiers. Il ne doit pas y avoir d'espace entre l'entier et le suffixe.

KiB

Multiplier l'entier par 1024 (2^10). Ki, k, kB, K et KB sont acceptés comme synonymes de KiB.

MiB

Multiplier l'entier par 1 048 576 (2^20). Mi, m, M et MB sont acceptés comme synonymes de MiB.

GiB

Multiplier l'entier par 1 073 741 824 (2^30). Gi, g, G et GB sont acceptés comme synonymes de GiB.

La valeur spéciale max peut être utilisée pour indiquer la valeur maximale de l'entier prise en charge par l'option.

Mode d'opération¶

Si plusieurs options de mode d'opération sont données, la dernière prend effet.

-z, --compress

Compresser. C'est le mode d'opération par défaut lorsque aucune option de mode opératoire n'est spécifiée ou qu'aucun autre mode d'opération n'est sous-entendu par le nom de la commande (par exemple unxz sous-entend --decompress).

-d, --decompress, --uncompress

Décompresser.

-t, --test

Tester l'intégrité des fichiers compressés. Cette option est équivalente à --decompress --stdout sauf que les données décompressées sont rejetées au lieu d'être écrites sur la sortie standard. Aucun fichier n'est créé ou supprimé.

-l, --list

Afficher l'information sur les fichiers compressés. Aucune sortie non-compressée n'est produite et aucun fichier n'est créé ou supprimé. En mode liste, le programme ne peut pas lire les données compressées depuis l'entrée standard ou depuis d'autres sources non adressables.

The default listing shows basic information about files, one file per line. To get more detailed information, use also the --verbose option. For even more information, use --verbose twice, but note that this may be slow, because getting all the extra information requires many seeks. The width of verbose output exceeds 80 characters, so piping the output to, for example, less -S may be convenient if the terminal isn't wide enough.

La sortie exacte peut varier suivant les versions de xz et les différents paramètres régionaux. Pour une sortie lisible par la machine, utiliser --robot --list.

Modificateurs d'opération¶

-k, --keep

Ne pas effacer les fichiers d'entrée.

Since xz 5.2.6, this option also makes xz compress or decompress even if the input is a symbolic link to a regular file, has more than one hard link, or has the setuid, setgid, or sticky bit set. The setuid, setgid, and sticky bits are not copied to the target file. In earlier versions this was only done with --force.

-f, --force

Cette option a plusieurs effets :

-c, --stdout, --to-stdout

Écrire les données compressées ou décompressées sur la sortie standard plutôt que dans un fichier. Cela necessite --keep.

--single-stream

Décompresser seulement le premier flux .xz et ignorer silencieusement les possibles données d'entrée résiduelles qui suivent le flux. Normalement ces déchets excédentaires provoquent l'affichage d'une erreur par xz.

xz ne décompresse jamais plus d'un flux à partir de fichiers .lzma ou de flux bruts, mais cette option fait aussi que xz ignorera les données résiduelles après le fichier .lzma ou le flux brut.

Cette option n'a aucun effet si le mode d'opération n'est pas --decompress ou --test.

--no-sparse

Désactiver la création de fichiers peu denses. Par défaut, lors de la décompression en un fichier normal, xz essaie d'en faire un fichier creux si les données décompressées contiennent de longues séquences de zéros binaires. Cela fonctionne aussi lors de l'écriture sur la sortie standard aussi longtemps que la sortie standard est connectée à un fichier normal et que certaines conditions supplémentaires sont satisfaites pour le faire de manière sécurisée. Créer des fichiers creux peut épargner de l'espace disque et accélérer la décompression en réduisant la quantité d'entrées/sorties sur le disque.

-S .suf, --suffix=.suf

Lors de la compression, utiliser .suf comme suffixe du fichier cible au lieu de .xz ou .lzma. Si xz n'écrit pas sur la sortie standard et si le fichier source a déja le suffixe .suf, un avertissement est affiché et le fichier est ignoré.

When decompressing, recognize files with the suffix .suf in addition to files with the .xz, .txz, .lzma, .tlz, or .lz suffix. If the source file has the suffix .suf, the suffix is removed to get the target filename.

Lors de la compression ou décompression de flux bruts (--fomat=raw), le suffixe doit toujours être spécifié à moins d'écrire sur la sortie standard, car il n'y a pas de suffixe par défaut pour les flux bruts.

--files[=fichier]

Lire les noms de fichier à traiter depuis fichier ; si fichier est omis , les noms de fichier sont lus sur l'entrée standard. Les noms de fichier doivent se terminer avec le caractère de nouvelle ligne. Un tiret (-) est considéré comme un nom de fichier normal ; ce qui ne signifie pas entrée standard. Si les noms de fichier sont aussi donnés comme arguments de ligne de commande, ils sont traités avant les noms de fichier lus depuis fichier.

--files0[=fichier]

Cela est identique à --files[=fichier] sauf que chaque nom de fichier doit se terminer par le caractère null.

Format de fichier basique et options de compression¶

-F format, --format=format

Indiquer le format de fichier à compresser ou décompresser :

-C vérif., --check=vérif.

Spécifier le type d'intégrité à vérifier. La vérification est calculée à partir des données non-compressées et stockées dans le fichier .xz. Cette option n'a effet que si la compression a été faite dans le format .xz ; le format .lzma ne gère pas les vérifications d'intégrité. Le contrôle d'intégrité (s'il y en a) est vérifié lorsque le fichier .xz est décompressé.

Types de vérification pris en charge :

L'intégrité des en-têtes .xz est toujours vérifiée avec CRC32. Il n'est pas possible de le changer ou de le désactiver.

--ignore-check

Ne pas contrôler la vérification d'intégrité des données lors de la décompression. Les valeurs CRC32 dans les en-têtes .xz seront normalement toujours vérifiées.

N'utilisez pas cette option à moins de savoir ce que vous faites. Les raisons possibles pour utiliser cette option :

-0 ... -9

Choisir un niveau de compression prédéfini. La valeur par défaut est 6. Si plusieurs niveaux de préréglage sont spécifiés, c'est le dernier qui sera pris en compte. Si une chaîne de filtres personnalisée a déjà été choisie, définir un niveau de compression préréglé efface la chaîne de filtres personnalisée.

Les différences entre les préréglages sont plus significatives qu'avec gzip(1) et bzip2(1). les réglages de compression sélectionnés déterminent les exigences en mémoire pour la décompression, ainsi, utiliser un niveau de préréglage trop élevé peut rendre difficile à décompresser un fichier sur un vieux système avec peu de RAM. Clairement, ce n'est pas une bonne idée d'utiliser -9 aveuglément pour tout comme ça l'est souvent avec gzip(1) et bzip2(1).

Sur le même matériel, la vitesse de décompression est sensiblement un nombre constant d'octets de données compressées par seconde. En d'autres termes, meilleure est la compression, plus rapide sera en général la décompression. Cela signifie aussi que la quantité de sortie non compressée produite par seconde peut varier beaucoup.

Le tableau suivant résume les caractéristiques des préréglages :

Descriptions des colonnes :

-e, --extreme

Utilisez un variant plus lent que les préréglages (-0 à -9) pour espérer avoir un taux de compression légèrement meilleur, mais en cas de malchance cela peut être pire. L'utilisation mémoire du décompresseur n'est pas affectée, mais l'utilisation mémoire du compresseur augmente un peu aux niveaux de préréglages de -0 à -3.

Depuis qu'il y a deux préréglages avec des tailles de dictionnaire de 4 Mio et 8 o, les préréglages -3e et -5e utilisent des réglages légèrement plus rapides que -4e et -6e, respectivement. De cette manière, il n'y a pas deux préréglages identiques.

Par exemple, il y a un total de quatre préréglages qui utilisent un dictionnaire de 8 Mio et qui sont dans l'ordre du plus rapide au plus lent : -5, -6, -5e et -6e.

--fast

--best

Il y a néanmoins des alias trompeurs pour -0 et -9, respectivement. Ils ne sont fournis que pour des besoins de rétro-compatibilité avec les utilitaires LZMA. Evitez d'utiliser ces options.

--block-size=taille

Lors de la compression dans le format .xz, les données de l'entrée sont réparties en blocs de taille octets. Les blocs sont compressés indépendamment les un des autres, ce qui aide avec le mode multithread (multi-threading) et rend possible la décompression à accès aléatoire limité. Cette option est typiquement utilisée pour outrepasser la taille de bloc en mode multithread, mais cette option peut aussi être utilisée en mode single-thread.

In multi-threaded mode about three times size bytes will be allocated in each thread for buffering input and output. The default size is three times the LZMA2 dictionary size or 1 MiB, whichever is more. Typically a good value is 2–4 times the size of the LZMA2 dictionary or at least 1 MiB. Using size less than the LZMA2 dictionary size is waste of RAM because then the LZMA2 dictionary buffer will never get fully used. The sizes of the blocks are stored in the block headers, which a future version of xz will use for multi-threaded decompression.

Par défaut, il n'y a pas de répartition de bloc en mode mono-thread. Régler cette option n'affecte pas l'utilisation de la mémoire. Aucune information de taille n'est stockée dans l'en-tête de bloc, par conséquent les fichiers créés en mode single-thread ne seront pas identiques aux fichiers créés en mode multi-thread. Le manque d'information de taille signifie aussi qu'une future version de xz ne sera pas capable de décompresser les fichiers en mode multi-thread.

--block-list=tailles

Lors de la compression dans le format .xz, commencer un nouveau bloc après les intervalles donnés des données non compressées.

Les tailles non-compressées des blocs sont spécifiées sous forme de liste séparée par des virgules. Omettre une taille (deux ou plus virgules consécutives) est un raccourci pour utiliser la taille du bloc précédent.

Si le fichier en entrée est plus grand que la somme des tailles, la dernière valeur est répétée jusqu'à la fin du fichier. Une valeur spéciale de 0 peut être utilisée comme étant la dernière valeur pour indiquer que le reste du fichier devrait être encodé comme un simple bloc.

Si on spécifie des tailles qui excèdent la taille du bloc de l'encodeur (soit la valeur en mode threadé, soit la valeur spécifiée avec --block-size=taille), l'encodeur créera des blocs supplémentaires tout en gardant les limites indiquées dans tailles. Par exemple, si on indique --block-size=10MiB--block-list=5MiB,10MiB,8MiB,12MiB,24MiB et que le fichier fait 80Mio, on aura 11 blocs de 5, 10, 8, 2, 10, 10, 4, 10, 10, et 1 Mio.

En mode multi-threadé les tailles de blocs sont stockées dans les en-têtes du bloc. Cela ne se fait pas en mode mono-threadé, la sortie encodée ne sera donc pas identique à celle faite en mode multi-threadé.

--flush-timeout=temps_d'attente

Lors de la compression, si plus que temps_d'attente millisecondes (un entier positif) se sont écoulées depuis le précédent vidage et que lire plus de données bloquerait, toutes les données d'entrée en attente sont vidées de l'encodeur et mises à disposition dans le flux de sortie. Cela peut être utile si xz est utilisé pour compresser les données qui sont diffusées sur un réseau. Des petites valeurs de temps_d'attente rendent les données disponibles à l'extrémité réceptrice avec un léger retard, mais les grandes valeurs de temps_d'attente donnent un meilleur taux de compression.

Cette option est désactivée par défaut. Si cette option est indiquée plus d'une fois, la dernière prend effet. La valeur spéciale de temps_d'attente de 0 peut être utilisée pour explicitement désactiver cette option.

Cette option n'est pas disponible sur les systèmes qui ne sont pas POSIX.

Cette option est encore expérimentale. Actuellement, xz ne convient pas pour décompresser le flux en temps réel en raison de la façon dont xz effectue la mise en mémoire tampon.

--memlimit-compress=limite

Indiquer une limite d'utilisation de la mémoire pour la compression. Si cette option est indiquée plusieurs fois, c'est la dernière qui est prise en compte.

If the compression settings exceed the limit, xz will attempt to adjust the settings downwards so that the limit is no longer exceeded and display a notice that automatic adjustment was done. The adjustments are done in this order: reducing the number of threads, switching to single-threaded mode if even one thread in multi-threaded mode exceeds the limit, and finally reducing the LZMA2 dictionary size.

When compressing with --format=raw or if --no-adjust has been specified, only the number of threads may be reduced since it can be done without affecting the compressed output.

If the limit cannot be met even with the adjustments described above, an error is displayed and xz will exit with exit status 1.

La limite peut être indiquée de plusieurs façons :

For 32-bit xz there is a special case: if the limit would be over 4020 MiB, the limit is set to 4020 MiB. On MIPS32 2000 MiB is used instead. (The values 0 and max aren't affected by this. A similar feature doesn't exist for decompression.) This can be helpful when a 32-bit executable has access to 4 GiB address space (2 GiB on MIPS32) while hopefully doing no harm in other situations.

Voir aussi la section utilisation de la mémoire.

--memlimit-decompress=limite

Régler une limite d'utilisation de la mémoire pour la décompression. Cela a un effet sur le mode --list. Si l'opération n'est pas possible sans dépasser la limite, xz affichera une erreur et la décompression échouera. Voir --memlimit-compress=limite pour les manières possibles d'indiquer la limite.

--memlimit-mt-decompress=limit

Set a memory usage limit for multi-threaded decompression. This can only affect the number of threads; this will never make xz refuse to decompress a file. If limit is too low to allow any multi-threading, the limit is ignored and xz will continue in single-threaded mode. Note that if also --memlimit-decompress is used, it will always apply to both single-threaded and multi-threaded modes, and so the effective limit for multi-threading will never be higher than the limit set with --memlimit-decompress.

In contrast to the other memory usage limit options, --memlimit-mt-decompress=limit has a system-specific default limit. xz --info-memory can be used to see the current value.

This option and its default value exist because without any limit the threaded decompressor could end up allocating an insane amount of memory with some input files. If the default limit is too low on your system, feel free to increase the limit but never set it to a value larger than the amount of usable RAM as with appropriate input files xz will attempt to use that amount of memory even with a low number of threads. Running out of memory or swapping will not improve decompression performance.

See --memlimit-compress=limit for possible ways to specify the limit. Setting limit to 0 resets the limit to the default system-specific value.

-M limite, --memlimit=limite, --memory=limite

This is equivalent to specifying --memlimit-compress=limit --memlimit-decompress=limit --memlimit-mt-decompress=limit.

--no-adjust

Display an error and exit if the memory usage limit cannot be met without adjusting settings that affect the compressed output. That is, this prevents xz from switching the encoder from multi-threaded mode to single-threaded mode and from reducing the LZMA2 dictionary size. Even when this option is used the number of threads may be reduced to meet the memory usage limit as that won't affect the compressed output.

Automatic adjusting is always disabled when creating raw streams (--format=raw).

-T threads, --threads=threads

Specify the number of worker threads to use. Setting threads to a special value 0 makes xz use up to as many threads as the processor(s) on the system support. The actual number of threads can be fewer than threads if the input file is not big enough for threading with the given settings or if using more threads would exceed the memory usage limit.

The single-threaded and multi-threaded compressors produce different output. Single-threaded compressor will give the smallest file size but only the output from the multi-threaded compressor can be decompressed using multiple threads. Setting threads to 1 will use the single-threaded mode. Setting threads to any other value, including 0, will use the multi-threaded compressor even if the system supports only one hardware thread. (xz 5.2.x used single-threaded mode in this situation.)

To use multi-threaded mode with only one thread, set threads to +1. The + prefix has no effect with values other than 1. A memory usage limit can still make xz switch to single-threaded mode unless --no-adjust is used. Support for the + prefix was added in xz 5.4.0.

If an automatic number of threads has been requested and no memory usage limit has been specified, then a system-specific default soft limit will be used to possibly limit the number of threads. It is a soft limit in sense that it is ignored if the number of threads becomes one, thus a soft limit will never stop xz from compressing or decompressing. This default soft limit will not make xz switch from multi-threaded mode to single-threaded mode. The active limits can be seen with xz --info-memory.

Actuellement, la seule méthode de gestion avec des threads consiste à séparer l'entrée en blocs et de les compresser indépendamment les uns des autres. La taille par défaut des blocs dépend du niveau de compression et peut-être remplacée avec l'option --block-size=taille.

Threaded decompression only works on files that contain multiple blocks with size information in block headers. All large enough files compressed in multi-threaded mode meet this condition, but files compressed in single-threaded mode don't even if --block-size=size has been used.

Chaînes de filtres de compresseur personnalisées¶

A custom filter chain allows specifying the compression settings in detail instead of relying on the settings associated to the presets. When a custom filter chain is specified, preset options (-0 ... -9 and --extreme) earlier on the command line are forgotten. If a preset option is specified after one or more custom filter chain options, the new preset takes effect and the custom filter chain options specified earlier are forgotten.

Une chaîne de filtre est comparable à une redirection (pipe) sur la ligne de commande. Lors de la compression, les entrées non compressées vont au premier filtre, dont la sortie va au prochain filtre (s'il y en a). La sortie du dernier filtre est écrite sur le fichier compressé. Le nombre maximal de filtres dans la chaîne est quatre, mais habituellement, un chaîne de filtre n'a qu'un ou deux filtres.

Beaucoup de filtres ont des limitations sur l'endroit où ils peuvent se placer dans la chaîne de filtre : quelques filtres ne peuvent fonctionner qu'en tant que dernier filtre dans la chaîne, quelques uns en tant que non dernier filtre, et d'autres à n'importe quelle position dans la chaîne. Suivant le filtre, cette limitation est soit inhérente au profil du filtre, soit existe pour des raisons de sécurité.

Une chaîne de filtres personnalisée est indiquée en utilisant une ou plusieurs options de filtre dans l'ordre où elles sont souhaitées dans la chaîne de filtres. Cela fait, l'ordre des options de filtre est significatif! Lors du décodage des flux bruts (--format=raw), le filtre de chaîne est indiqué dans le même ordre qu'il fût indiqué lors de la compression.

Les filtres prennent des options spécifiques aux filtres sous la forme d'une liste séparée par des virgules. Les virgules supplémentaires dans les options sont ignorées. Toutes les options ont une valeur par défaut, donc vous ne devez indiquer que celles que vous voulez changer.

Pour voir l'entièreté de la chaîne de filtres et ses options, utilisez xz -vv (ce qui est comme utiliser --verbose deux fois). Cela fonctionne aussi pour voir les options de chaîne de filtres utilisées par les préréglages.

--lzma1[=options]

--lzma2[=options]

Ajouter le filtre LZMA1 ou LZMA2 à la chaîne de filtres. Ces filtres ne peuvent être utilisés que comme dernier filtre dans la chaîne.

LZMA1 est un filtre historique, qui n'est pris en charge presque uniquement à cause de l'ancien format de fichier .lzma, qui ne prend en charge que LZMA1. LZMA2 est une version mise à jour de LZMA1 pour régler certains problèmes pratiques de LZMA1. Le format xz utilise LZMA2 et ne prend pas du tout en charge LZMA1. Les taux et vitesses de compression de LZMA1 et LZMA2 sont pratiquement identiques.

LZMA1 et LZMA2 partagent le même ensemble d'options :

Lors du décodage des flux bruts (--format=raw), LZMA2 nécessite seulement la taille du dictionnaire. LZMA1 nécessite aussi lc, lp et pb.

--x86[=options]

--arm[=options]

--armthumb[=options]

--arm64[=options]

--powerpc[=options]

--ia64[=options]

--sparc[=options]

Ajouter un filtre branch/call/jump (BCJ) à la chaîne de filtres. Ces filtres ne peuvent être utilisés que s'ils ne sont pas le dernier filtre de la chaîne de filtrage.

A BCJ filter converts relative addresses in the machine code to their absolute counterparts. This doesn't change the size of the data but it increases redundancy, which can help LZMA2 to produce 0–15 % smaller .xz file. The BCJ filters are always reversible, so using a BCJ filter for wrong type of data doesn't cause any data loss, although it may make the compression ratio slightly worse. The BCJ filters are very fast and use an insignificant amount of memory.

Ces filtres BCJ présentent des problèmes connus liés au taux de compression :

Different instruction sets have different alignment: the executable file must be aligned to a multiple of this value in the input data to make the filter work.

Since the BCJ-filtered data is usually compressed with LZMA2, the compression ratio may be improved slightly if the LZMA2 options are set to match the alignment of the selected BCJ filter. For example, with the IA-64 filter, it's good to set pb=4 or even pb=4,lp=4,lc=0 with LZMA2 (2^4=16). The x86 filter is an exception; it's usually good to stick to LZMA2's default four-byte alignment when compressing x86 executables.

Tous les filtres BCJ prennent en charge les mêmes options :

--delta[=options]

Ajouter le filtre Delta à la chaîne de filtres. Le filtre Delta ne peut être utilisé que s'il n'est pas le dernier filtre dans la chaîne.

Currently only simple byte-wise delta calculation is supported. It can be useful when compressing, for example, uncompressed bitmap images or uncompressed PCM audio. However, special purpose algorithms may give significantly better results than Delta + LZMA2. This is true especially with audio, which compresses faster and better, for example, with flac(1).

options prises en charge :

Autres options¶

-q, --quiet

Supprimer les avertissements et les notifications. Indiquer cela deux fois supprimera aussi les erreurs. Cette option n'a aucun effet sur le statut de sortie. Cela dit, même si un avertissement était supprimé, le statut de sortie indiquant un avertissement sera encore utilisé.

-v, --verbose

Être bavard. Si l'erreur standard est connectée à un terminal, xz affichera une barre de progression. Indiquer --verbose deux fois donnera une sortie encore plus bavarde.

La barre de progression montre l'information suivante :

When standard error is not a terminal, --verbose will make xz print the filename, compressed size, uncompressed size, compression ratio, and possibly also the speed and elapsed time on a single line to standard error after compressing or decompressing the file. The speed and elapsed time are included only when the operation took at least a few seconds. If the operation didn't finish, for example, due to user interruption, also the completion percentage is printed if the size of the input file is known.

-Q, --no-warn

Ne pas mettre l'état de sortie à 2 même si une condition méritant un avertissement a été détectée. Cette option n'affecte pas le niveau de verbosité, néanmoins, les deux options --quiet et --no-warn doivent être utilisées pour ne pas afficher d'avertissements, ni altérer le statut de sortie.

--robot

Afficher les messages dans un format analysable par une machine. Ceci est destiné à faciliter l'écriture des frontaux qui voudraient utiliser xz plutôt que liblzma, ce qui pourrait être le cas pour différents scripts. La sortie avec cette option activée est destinée à rester stable sur les différentes versions de xz. Consulter le paragraphe ROBOT MODE pour les détails.

--info-memory

Display, in human-readable format, how much physical memory (RAM) and how many processor threads xz thinks the system has and the memory usage limits for compression and decompression, and exit successfully.

-h, --help

Afficher un message d'aide décrivant les options les plus couramment utilisées et quitter.

-H, --long-help

Afficher un message d'aide décrivant toutes les options de xz et quitter.

-V, --version

Afficher le numéro de version de xz et de liblzma dans un format lisible par un humain. Pour obtenir une sortie analysable par la machine, spécifiez --robot avant --version.

Version¶

xz --robot --version affichera le numéro de version de xz et liblzma dans le format suivant :

XZ_VERSION=XYYYZZZS
LIBLZMA_VERSION=XYYYZZZS

X

Version majeure.

YYY

Version mineure. Les numéros pairs sont stables. Les numéros impairs sont des versions alpha ou beta.

ZZZ

Niveau de correctif pour les options stables ou juste un compteur pour les options de développement.

S

Stabilité. 0 est alpha, 1 est bêta et 2 est stable. S devrait toujours être 2 quand YYY est pair.

XYYYZZZS sont identiques sur les deux lignes si xz et liblzma sont issus de la même version d'utilitaires XZ.

Exemples : 4.999.9beta est 49990091 et 5.0.0 est 50000002.

Information de limite de mémoire¶

xz --robot --info-memory affiche une seule ligne avec trois colonnes séparées par des tabulations :

1.

Total amount of physical memory (RAM) in bytes.

2.

Memory usage limit for compression in bytes (--memlimit-compress). A special value of 0 indicates the default setting which for single-threaded mode is the same as no limit.

3.

Memory usage limit for decompression in bytes (--memlimit-decompress). A special value of 0 indicates the default setting which for single-threaded mode is the same as no limit.

4.

Since xz 5.3.4alpha: Memory usage for multi-threaded decompression in bytes (--memlimit-mt-decompress). This is never zero because a system-specific default value shown in the column 5 is used if no limit has been specified explicitly. This is also never greater than the value in the column 3 even if a larger value has been specified with --memlimit-mt-decompress.

5.

Since xz 5.3.4alpha: A system-specific default memory usage limit that is used to limit the number of threads when compressing with an automatic number of threads (--threads=0) and no memory usage limit has been specified (--memlimit-compress). This is also used as the default value for --memlimit-mt-decompress.

6.

Since xz 5.3.4alpha: Number of available processor threads.

Dans le futur, la sortie de xz --robot --info-memory pourrait avoir plus de colonnes, mais jamais plus qu'une ligne unique.

Mode liste¶

xz --robot --list utilise une sortie séparée par des tabulations. La première colonne de toutes les lignes possède une chaîne qui indique le type d'information trouvée sur cette ligne :

name

C'est toujours la première ligne au début de la liste d'un fichier. La seconde colonne de la ligne est le nom de fichier.

file

Cette ligne contient l'information globale sur le fichier .xz. Cette ligne est toujours écrite après la ligne name.

stream

Ce type de ligne n'est utilisée que lorsque --verbose a été indiquée. Il y a autant de lignes stream qu'il y a de flux dans le fichier .xz.

block

Ce type de ligne n'est utilisé seulement lorsque --verbose a été indiquée. Il y a autant de lignes block qu'il y a de blocs dans le fichier .xz. Les lignes block sont affichées après toutes les lignes stream ; les différents types de lignes ne sont pas imbriqués.

summary

Ce type de ligne n'est utilisé que lorsque --verbose a été indiqué deux fois. Cette ligne est affichée après toutes les lignes block. Comme la ligne file, la ligne summary contient l'information globale sur le fichier .xz.

totals

Cette ligne est toujours la toute dernière ligne de la sortie. Elle affiche les comptes et les tailles totaux.

Les colonnes des lignes file :

Les colonnes des lignes stream :

Les colonnes des lignes block :

Si --verbose a été indiqué deux fois, les colonnes additionnelles sont inclues sur les lignes block. Elles ne sont pas affichées avec un seul --verbose, car l'obtention de ces informations nécessite de nombreuses recherches et peut donc être lente :

Les colonnes des lignes summary :

Les colonnes de la ligne totals :

Si --verbose a été indiqué deux fois, des colonnes supplémentaires sont incluses sur la ligne totals :

Les versions futures pourront ajouter de nouveaux types de lignes et de nouvelles colonnes pourront être ajoutées aux types de lignes existants, mais les colonnes existantes ne seront pas modifiées.

Niveaux de préréglage de la compression¶

La numérotation des préréglages de niveau de compression est différente entre les outils xz et LZMA. La différence la plus importante est la manière dont les tailles de dictionnaire sont affectées aux différents préréglages. La taille de dictionnaire est à peu près égale à celle d'utilisation de la mémoire de la décompression.

Les différences de tailles des dictionnaires affectent aussi l'utilisation de la mémoire du compresseur, mais il y a quelques autres différences entre les outils LZMA et les outils XZ, qui rendent la différence encore plus grande :

Le niveau de préréglage par défaut dans les outils LZMA est -7 alors que pour les outils XZ c'est -6, les deux utilisent ainsi un dictionnaire de 8 Mio par défaut.

Fichiers .lzma en flux ou non¶

The uncompressed size of the file can be stored in the .lzma header. LZMA Utils does that when compressing regular files. The alternative is to mark that uncompressed size is unknown and use end-of-payload marker to indicate where the decompressor should stop. LZMA Utils uses this method when uncompressed size isn't known, which is the case, for example, in pipes.

xz prend en charge la décompression des fichiers .lzma avec ou sans marqueur de fin de charge utile, mais tous les fichiers .lzma créés par xz utiliseront un marqueur de fin de charge utile et ont la taille non compréssée marquée comme inconnue dans l'en-tête .lzma. Cela peut être un problème dans quelques situations inhabituelles. Par exemple, un décompresseur .lzma dans un périphérique embarqué pourrait ne fonctionner qu'avec des fichiers dont la taille non comprimée est connue. Si vous vous heurtez à ce problème, vous devez utiliser les utilitaires LZMA ou LZMA SDK pour créer des fichiers .lzma avec une taille non compressée connue.

Fichiers .lzma non pris en charge¶

Le format .lzma autorise des valeurs lc jusqu'à 8, et des valeurs lp jusqu'à 4. Les outils LZMA peuvent décompresser des fichiers avec tous les lc et lp, mais créez toujours les fichiers avec lc=3 et lp=0. Créer des fichiers avec d'autres valeurs lc et lp est possible avec xz et avec LZMA SDK.

L'implémentation du filtre LZMA1 dans liblzma nécessite que la somme de lc et lp soit inférieure ou égale à 4. Ainsi, les fichiers .lzma qui excèdent cette limitation ne peuvent pas être décompressés avec xz.

Les outils LZMA créent seulement des fichiers .lzma qui ont une taille de dictionnaire de 2^n (une puissance de 2) mais acceptent les fichiers avec toutes les tailles de dictionnaire. Libzlma n'accepte que les fichiers .lzma qui ont une taille dictionnaire de 2^n ou 2^n + 2^(n-1). Cela afin de diminuer les faux positifs lors de la détection des fichiers .lzma.

Ces limitations ne devraient pas poser problème en pratique, car pratiquement tous les fichiers .lzma ont été compressés avec des réglages que liblzma accepte.

Déchets excédentaires¶

Lors de la décompession, l'utilitaire LZMA ignore silencieusement tout ce qui est après le premier flux .lzma. Dans la majorité des situations, c'est un bogue. Cela veut dire aussi que les outils LZMA ne gèrent pas la décompression de fichiers .lzma concaténés.

S'il reste des données après le premier flux .lzma, xz considère que le fichier est corrompu sauf si --single-stream a été utilisé. Cela peut casser des scripts obscurs qui ont supposé que les déchets de fin de ligne sont ignorés.

La sortie compressée peut varier¶

La sortie compressée exacte produite par les même fichiers non compressés en entrée peut varier en fonction des différentes versions de l'utilitaire XZ, même si les options de compression sont identiques. En effet, il est possible d'améliorer l'encodeur (compression plus rapide ou meilleure) sans affecter le format du fichier. La sortie peut même varier entre différentes compilations de la même version d'utilitaire XZ, si des options de construction différentes sont utilisées.

Cela signifie qu'une fois que --rsyncable a été implémenté, les fichiers résultants ne seront pas nécessairement synchronisables avec rsync à moins que les nouveaux et anciens fichiers n'aient été compressés avec la même version de xz. Ce problème peut être résolu si une partie de l'implémentation est gelée pour garantir la stabilité de la sortie rsyncable à travers les versions de xz.

Décompresseurs .xz embarqués¶

Les implémentations de décompresseur embarqué comme XZ Embedded ne gèrent pas nécessairement les fichiers créés avec d'autres types de vérification d'intégrité que none et CRC32. Comme la valeur par défaut est --check=crc64, vous devez utiliser --check=none ou --check=crc32 lors de la création de fichiers pour les systèmes embarqués.

En dehors des systèmes embarqués, tous les décompresseurs de format .xz gèrent tous les types de vérification ou sont au moins capables de décompresser le fichier sans effectuer la vérification d'intégrité si ce type de vérification particulière n'est pas pris en charge.

XZ Embedded prend en charge les filtres BCJ, mais seulement avec le décalage de départ par défaut.

Bases¶

Compresser le fichier toto en toto.xz en utilisant le niveau de compression par défaut (-6) et supprimer toto si la compression réussit :

xz toto

Décompresser bidule.xz en bidule et ne pas supprimer bidule.xz même si la compression réussit :

xz -dk bidule.xz

Create baz.tar.xz with the preset -4e (-4 --extreme), which is slower than the default -6, but needs less memory for compression and decompression (48 MiB and 5 MiB, respectively):

tar cf - truc | xz -4e > truc.tar.xz

Un mélange de fichiers compressés et non compressés peuvent être décompressés vers la sortie standard avec une simple commande :

xz -dcf a.txt b.txt.xz c.txt d.txt.lzma > abcd.txt

Compression en parallèle de plusieurs fichiers¶

Sur GNU et *BSD, find(1) et xargs(1) peuvent être utilisés pour mettre en parallèle la compression de plusieurs fichiers :

find . -type f \! -name '*.xz' -print0 \     | xargs -0r -P4 -n16 xz -T1

L'option P passée à xargs(1) fixe le nombre de processus xz en parallèles. La meilleure valeur pour l'option n dépend du nombre de fichiers à compresser. S-il n'y a que quelques fichiers, la valeur sera probablement 1 ; avec des dizaines de milliers de fichiers, 100 ou même plus serait approprié pour réduire le nombre de processus xz que xargs(1) créera éventuellement.

L'option -T1 de xz est là pour le forcer en mode mono-thread, car xargs(1) est utilisé pour contrôler la quantité de mise en parallèle.

Mode robot¶

Calculer combien d'octets ont été économisés au total après avoir compressé plusieurs fichiers :

xz --robot --list *.xz | awk '/^totals/{print $5-$4}'

Un script peut vouloir savoir qu'il utilise une version suffisamment récente de xz. Le script sh(1) suivant vérifie que le numéro de version de l'outil xz soit au minimum 5.0.0. Cette méthode est compatible avec les vieilles versions bêta, qui ne gèrent pas l'option --robot :

if ! eval "$(xz --robot --version 2> /dev/null)" ||         [ "$XZ_VERSION" -lt 50000002 ]; then     echo "Votre version de xz est trop ancienne." fi unset XZ_VERSION LIBLZMA_VERSION

Régler une limite d'utilisation de la mémoire pour la décompression en utilisant XZ_OPT, mais si une limite a déjà été définie, ne pas l'augmenter :

NEWLIM=$((123 << 20))  # 123 MiB OLDLIM=$(xz --robot --info-memory | cut -f3) if [ $OLDLIM -eq 0 -o $OLDLIM -gt $NEWLIM ]; then     XZ_OPT="$XZ_OPT --memlimit-decompress=$NEWLIM"     export XZ_OPT fi

Chaînes de filtres de compresseur personnalisées¶

L'utilisation la plus simple des chaînes de filtres personnalisées est la personnalisation d'un préréglage LZMA2. Cela peut être utile, car les préréglages ne couvrent qu'un sous-ensemble des réglages de compression potentiellement utiles.

Les colonnes CompCPU des tableaux des descriptions des options -0 à -9 et --extreme sont utiles lors de la personnalisation des préréglages LZMA2. Voici les parties pertinentes recueillies à partir de ces deux tableaux :

If you know that a file requires somewhat big dictionary (for example, 32 MiB) to compress well, but you want to compress it quicker than xz -8 would do, a preset with a low CompCPU value (for example, 1) can be modified to use a bigger dictionary:

xz --lzma2=preset=1,dict=32MiB toto.tar

Avec certains fichiers, la commande ci-dessus peut être plus rapide que xz-6 tout en compressant bien mieux. Cependant, il faut souligner que seuls certains fichiers bénéficient d'un grand dictionnaire tout en gardant la valeur de CompCPU faible. La siutation la plus évidente où un gros dictionnaire peut baucoup aider, est une archive contenant des fichiers très similaires de quelques megaoctets chacun. La taille de dictionnaire doit être significativement plus grosse que tout fichier individuel pour permettre à LZMA2 de tirer pleinement partie des similarités entre des fichiers consécutifs.

Si une utilisation de la mémoire élevée pour la compression et décompression convient, et que le fichier à compresser a une taille de plusieurs centaines de megaoctets, il peut être utile d'utiliser un plus gros dictionnaire que celui fourni par xz-9 (64 Mio) :

xz -vv --lzma2=dict=192MiB gros_toto.tar

Utiliser -vv (--verbose--verbose) comme dans l'exemple ci-dessus peut être utile pour voir les besoins en mémoire du compresseur et du décompresseur. Rappelez-vous qu'utiliser un dictionnaire plus gros que la taille du fichier non compressé est un gachis de mémoire, donc la commande ci-dessus n'est pas utile pour les petits fichiers.

Sometimes the compression time doesn't matter, but the decompressor memory usage has to be kept low, for example, to make it possible to decompress the file on an embedded system. The following command uses -6e (-6 --extreme) as a base and sets the dictionary to only 64 KiB. The resulting file can be decompressed with XZ Embedded (that's why there is --check=crc32) using about 100 KiB of memory.

xz --check=crc32 --lzma2=preset=6e,dict=64KiB toto

If you want to squeeze out as many bytes as possible, adjusting the number of literal context bits (lc) and number of position bits (pb) can sometimes help. Adjusting the number of literal position bits (lp) might help too, but usually lc and pb are more important. For example, a source code archive contains mostly US-ASCII text, so something like the following might give slightly (like 0.1 %) smaller file than xz -6e (try also without lc=4):

xz --lzma2=preset=6e,pb=0,lc=4 code_source.tar

Using another filter together with LZMA2 can improve compression with certain file types. For example, to compress a x86-32 or x86-64 shared library using the x86 BCJ filter:

xz --x86 --lzma2 libtoto.so

Notez que l'ordre des options de filtre est significatif. Si --x86 est indiqué après --lzma2, xz donnera une erreur, car il ne peut y avoir aucun filtre après LZMA2, et aussi parce que le filtre BCJ x86 ne peut pas être utilisé comme dernier filtre dans la chaîne.

Le filtre Delta associé à LZMA2 peut donner de bons résultats avec les images bitmap. Cela devrait habituellement battre PNG, qui a quelques filtres avancés supplémentaires qu'un simple delta, mais qui utilise Deflate pour la compression effective.

The image has to be saved in uncompressed format, for example, as uncompressed TIFF. The distance parameter of the Delta filter is set to match the number of bytes per pixel in the image. For example, 24-bit RGB bitmap needs dist=3, and it is also good to pass pb=0 to LZMA2 to accommodate the three-byte alignment:

xz --delta=dist=3 --lzma2=pb=0 toto.tiff

If multiple images have been put into a single archive (for example, .tar), the Delta filter will work on that too as long as all images have the same number of bytes per pixel.