Mc: オブジェクトをminioにコピーするのは非常に遅い

作成日 2017年06月26日  ·  13コメント  ·  ソース: minio/mc

オブジェクトをminioにコピーするのは非常に遅い

予想される行動

もっと早く?

現在の動作

./mc cp --recursive folder/ local/bucket/ is running around 4.5 MB/s
dd if=/dev/zero of=bigfile bs=1m count=1024



md5-124e2bc0ba448b7893d2893cd77bc25d



./mc cp bigfile minio/test is running 128MB/s

環境

読み取り速度は約50〜70 MB / sです。 バケットの下のファイルはBucketName/MediaID/Quality/MovieName/Filesのようなものです

あなたの環境

バージョン:2017-05-05T01:14:51Z
Supermicro SuperStorage 6028R-E1CR12L
CPU:モデル名:Intel(R)Xeon(R)CPU E5-2630 v4 @ 2.20GHz
コア:40
メモリ:512 GB
ディスク:12 * 4TB
Ubuntu 16.04

high

最も参考になるコメント

また、mirrorコマンドでもこれを修正したいと思います。 minioクラスターからファイルシステムに同期するためにミラーを実行するとパフォーマンスが低下します。

全てのコメント13件

また、mirrorコマンドでもこれを修正したいと思います。 minioクラスターからファイルシステムに同期するためにミラーを実行するとパフォーマンスが低下します。

ETA:10月13日

これのステータスは? mcmirrorコマンドを使用して1MB /秒の速度で1TBのデータを移動しています:(
9。25日かかります:(

これのステータスは? mcmirrorコマンドを使用して1MB /秒の速度で1TBのデータを移動しています:(
9。25日かかります:(

クライアントからサーバーへの帯域幅は? @jonaz

クライアントからサーバーへの帯域幅は? @jonaz

また、有効帯域幅をテストするためにiperf -siperf -cを実行できますか?

@harshavardhana
iperfクライアントログ

Client connecting to prod-s3stor01, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[  3] local 10.XX.XX.XX port 60796 connected with 10.XX.XX.XX port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  9.74 GBytes  8.37 Gbits/sec

iperfサーバーログ

Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[  4] local 10.XX.XX.XX port 5001 connected with 10.XX.XX.XX port 60796
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  9.74 GBytes  8.36 Gbits/sec

[4] 10.XX.XX.XXポート60796に接続されたローカル10.XX.XX.XXポート5001
[ID]インターバル転送帯域幅
[4] 0.0-10.0秒9.74Gバイト8.36ギガビット/秒

@jonazこれらの1TiBファイルは画像ファイルのように本当に小さいですか?

@harshavardhanaはい、これらのファイルはほとんどが画像とPDFドキュメントです。

@curantesが言ったように@harshavardhanaはい。 私たちは一緒に仕事をしています。

@ jonaz@ curantes 、私はこのPRを作成しました。https://github.com/minio/mc/pull/2289 、まだマージ/公式ではありませんが、テストできます。 ミラーリングまたはコピーを複数回高速化する必要があります。 喜んでお手伝いさせていただきます。

これは#2289で修正される予定です

このスレッドは、閉じられた後、最近のアクティビティがないため、自動的にロックされています。 関連するバグについては、新しい問題を開いてください。

このページは役に立ちましたか?
0 / 5 - 0 評価