オブジェクトをminioにコピーするのは非常に遅い
もっと早く?
./mc cp --recursive folder/ local/bucket/ is running around 4.5 MB/s
dd if=/dev/zero of=bigfile bs=1m count=1024
md5-124e2bc0ba448b7893d2893cd77bc25d
./mc cp bigfile minio/test is running 128MB/s
読み取り速度は約50〜70 MB / sです。 バケットの下のファイルはBucketName/MediaID/Quality/MovieName/Files
のようなものです
バージョン:2017-05-05T01:14:51Z
Supermicro SuperStorage 6028R-E1CR12L
CPU:モデル名:Intel(R)Xeon(R)CPU E5-2630 v4 @ 2.20GHz
コア:40
メモリ:512 GB
ディスク:12 * 4TB
Ubuntu 16.04
また、mirrorコマンドでもこれを修正したいと思います。 minioクラスターからファイルシステムに同期するためにミラーを実行するとパフォーマンスが低下します。
ETA:10月13日
これのステータスは? mcmirrorコマンドを使用して1MB /秒の速度で1TBのデータを移動しています:(
9。25日かかります:(
これのステータスは? mcmirrorコマンドを使用して1MB /秒の速度で1TBのデータを移動しています:(
9。25日かかります:(
クライアントからサーバーへの帯域幅は? @jonaz
クライアントからサーバーへの帯域幅は? @jonaz
また、有効帯域幅をテストするためにiperf -s
とiperf -c
を実行できますか?
@harshavardhana
iperfクライアントログ
Client connecting to prod-s3stor01, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[ 3] local 10.XX.XX.XX port 60796 connected with 10.XX.XX.XX port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 9.74 GBytes 8.37 Gbits/sec
iperfサーバーログ
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[ 4] local 10.XX.XX.XX port 5001 connected with 10.XX.XX.XX port 60796
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 9.74 GBytes 8.36 Gbits/sec
[4] 10.XX.XX.XXポート60796に接続されたローカル10.XX.XX.XXポート5001
[ID]インターバル転送帯域幅
[4] 0.0-10.0秒9.74Gバイト8.36ギガビット/秒
@jonazこれらの1TiBファイルは画像ファイルのように本当に小さいですか?
@harshavardhanaはい、これらのファイルはほとんどが画像とPDFドキュメントです。
@curantesが言ったように@harshavardhanaはい。 私たちは一緒に仕事をしています。
@ jonaz 、 @ curantes 、私はこのPRを作成しました。https://github.com/minio/mc/pull/2289 、まだマージ/公式ではありませんが、テストできます。 ミラーリングまたはコピーを複数回高速化する必要があります。 喜んでお手伝いさせていただきます。
これは#2289で修正される予定です
このスレッドは、閉じられた後、最近のアクティビティがないため、自動的にロックされています。 関連するバグについては、新しい問題を開いてください。
最も参考になるコメント
また、mirrorコマンドでもこれを修正したいと思います。 minioクラスターからファイルシステムに同期するためにミラーを実行するとパフォーマンスが低下します。