table of contents
GFPCOPY(1) | Gfarm | GFPCOPY(1) |
NAME¶
gfpcopy - ファイルを並列にコピーする
SYNOPSIS¶
gfpcopy [-nqvdpPU] [-X regexp] [-S source-domainname] [-h source-hostfile] [-D destination-domainname] [-H destination-hostfile] [-j num-of-processes] [-J num-of-processes] [-M total-byte] [-z minimum-byte] [-Z maximum-byte] [-w way-of-scheduling] [-W kilobytes-for-threshold] [-s KB/s-to-simulate] [-F num-for-readahead] [-f] [-b bufsize] [-e] [-k] source-path destination-path
DESCRIPTION¶
gfpcopy は、複数のファイルを並列にコピーします。
source-path がディレクトリの場合は、その下にあるすべてのファイルとディ レクトリをコピーします。
destination-path が存在しない場合は、 ディレクトリを作成します。 destination-path が存在する場合は、 そのディレクトリの下にsource-path と同名のディレクトリを作成します。
作成先のホスト群を指定することにより、コピーしたファイルを格納するホス トを指定することができます。ホスト群は、ドメイン名か、ホスト名を行ごと に記述したホストファイルで指定します。ドメイン名とホストファイルを両方 指定した場合は、両方の条件に合うホスト群が選ばれます。また、作成元のホ スト群も指定可能です。その場合、そのホスト群に存在するファイルのみコピー されます。
gfpcopy は、ディレクトリを辿る際に、ディレクトリエントリ情報も並列に 取得します。
SOURCE PATH¶
source-path には以下を指定できます。 なお、HPSS上のファイルはコピーでき ません。
パス名
gfarm:...
file:...
DESTINATION PATH¶
destination-path には以下を指定できます。
パス名
gfarm:...
file:...
hpss:...
GFPCOPY OPTIONS¶
以下は gfpcopy 専用のオプションです。
-b bufsize
-f
-f オプションを指定しない場合、コピー先のほうが mtime が古い場合 に、上書きします。
-e
-k
COMMON OPTIONS¶
gfprep と gfpcopy には、 共通で利用できるオプションがあります。
-X regexp
-S source-domainname
-h source-hostfile
``-'' を指定すると、ホスト名のリストを標準入力から読み込みます。
-L
-D destination-domainname
このオプションも -H オプションも指定しない場合、利用可能な全ホスト を対象に複製、コピーを作成します。
-H destination-hostfile
``-'' を指定すると、ホスト名のリストを標準入力から読み込みます。
-j num-of-processes
デフォルト値は gfarm2.conf の client_parallel_copy パラメータです。 最大値は gfarm2.conf の client_parallel_max パラメータです。 詳細 は gfarm2.conf のマニュアルを参照してください。
作成元または作成先のホストごとの最大並列数は、CPU 数です。 CPU 数 については、gfhost のマニュアルを 参照してください。
-J num-of-processes
デフォルト値は 8 です。
-M total-byte
デフォルトでは制限しません。
-z minimum-byte
デフォルトでは制限しません。
-Z maximum-byte
デフォルトでは制限しません。
-w way-of-scheduling
デフォルトは noplan です。
greedy にすると、-N や -m オプションを使用することができません。
-W kibibytes
-w greedy オプションを使用した場合のみ効果があります。
デフォルトは 50 * 1024 キビバイト (50 メビバイト) です。
-I sec-to-update
デフォルトは 300 秒です。
-B
デフォルトでは高負荷なホストを作成先の対象にしません。そのため、 すべてのホストが高負荷の場合はファイル複製、コピーは行われません。
高負荷なホストとは、(ロードアベレージ / CPU 数) が gfarm2.conf の schedule_busy_load_thresh よりも高いホストです。 schedule_busy_load_thresh のデフォルト値は gfarm2.conf のマニュ アルを参照してください。 CPU 数については gfhost のマニュアルを 参照してください。
-U
-F num-of-dirents
デフォルトは 10000 です。
-s kilobytes-per-second
-n
-p
-P
-q
-v
-d
-?
EXAMPLES¶
ディレクトリ以下すべてをコピーします。
$ gfpcopy gfarm:///dir file:///tmp/dir
$ gfpcopy file:///tmp/dir gfarm:///dir
$ gfpcopy gfarm:///dir1 gfarm:///dir2
$ gfpcopy gfarm:///dir hpss:///tmp/dir
$ cd /mnt/gfarm2fs $ gfpcopy dir /tmp/dir
一つのファイルをコピーします。
$ gfpcopy gfarm:///dir/file file:///dir
$ cd /mnt/gfarm2fs $ gfpcopy file /tmp/dir
NOTES¶
gfmdとgfpcopy が距離的に離れている場合には、 gfpcopy の動作が遅くなりま す。そのような場合には、-j または -J オプションに大きな値を指定すると、 性能が改善するかもしれません。
SEE ALSO¶
27 Aug 2015 | Gfarm |