Câu hỏi rsync một tập tin đã nén


sẽ rysnc-z có bất kỳ lợi thế nén nếu tập tin đầu vào đã được gzipped? Tôi có một tập tin nén 100GB lớn để gửi qua mạng trên các máy chủ và nó luôn thất bại (đường ống bị hỏng) sau nhiều khoảng thời gian khác nhau. Tự hỏi nếu tôi nên thử cờ -z.


4
2017-08-18 07:44


gốc


Tôi nghi ngờ bạn đang tìm kiếm --partial tùy chọn, cho phép nối lại chuyển khoản, bất kể những gì đã xảy ra. - FauxFaux


Các câu trả lời:


Nén trong quá trình chuyển một tập tin đã nén thường không đáng giá thời gian của CPU. Có cẩn thận. Trong quá trình so sánh hai tập tin, sử dụng rsync với nén có thể tăng tốc độ so sánh các băm của dữ liệu.

Nếu bạn chỉ muốn đồng bộ hóa các phiên bản nén của các tệp lớn trên nhiều hệ thống, một nơi để xem sẽ là một số bản dựng của gzip. Trên một hệ thống Ubuntu, tôi nhận được:

$ gzip -h
Cách sử dụng: gzip [TÙY CHỌN] ... [FILE] ...
Nén hoặc giải nén các tệp FILE (theo mặc định, nén FILES tại chỗ).

Các đối số bắt buộc cho các tùy chọn dài là bắt buộc đối với các tùy chọn ngắn.

  -c, --stdout ghi vào đầu ra tiêu chuẩn, giữ nguyên các tệp gốc
  -d, --presspress giải nén
  -f, --force buộc ghi đè tệp đầu ra và liên kết nén
  -h, --help cung cấp trợ giúp này
  -l, --list liệt kê các nội dung tập tin nén
  -L, --giấy phép hiển thị phần mềm
  -n, --no-name không lưu hoặc khôi phục tên gốc và dấu thời gian
  -N, --name lưu hoặc khôi phục tên và dấu thời gian gốc
  -q, --quiet triệt tiêu tất cả cảnh báo
  -r, --recursive hoạt động đệ quy trên các thư mục
  -S, --suffix = SUF sử dụng hậu tố SUF trên các tệp nén
  -t, --test kiểm tra tính toàn vẹn của tập tin nén
  -v, --verbose chế độ tiết
  -V, --version phiên bản hiển thị số
  -1, - nhanh nén nhanh hơn
  -9, - Nén tốt hơn
    --rsyncable Tạo lưu trữ thân thiện với rsync

Không có TẬP_TIN, hoặc khi TẬPTIN là -, đọc đầu vào tiêu chuẩn.

Báo cáo lỗi cho.

Thông báo rằng --rsyncable Tùy chọn? Nó tránh sử dụng nén thích ứng để chỉ các phần nhỏ của tệp nén được thay đổi khi chỉ có một thay đổi nhỏ đối với tệp nguồn. Phần còn lại của dữ liệu nhị phân không thay đổi để rsync không cần phải truyền lại toàn bộ. Trang người đàn ông chỉ ra rằng tùy chọn này không nên tăng kích thước của tệp nén lên hơn 1% so với không sử dụng tùy chọn và khẩu súng lục đó sẽ không biết sự khác biệt.

Tôi có một tập tin sql 468MB mà tôi nén đến 57MB với --rsyncable Tùy chọn. Tôi chuyển tệp này sang hệ thống cục bộ của mình. Sau đó, tôi thêm một bình luận một dòng vào tập tin sql gốc trên hệ thống từ xa, và recompress với tùy chọn rsyncable.

$ rsync -avvz --progress -h fooboo: foo.sql.gz.
mở kết nối bằng ssh fooboo rsync --server --sender -vvlogDtprz. foo.sql.gz
đang nhận danh sách tệp ...
1 tệp cần xem xét
Đã bật truyền đồng bộ
foo.sql.gz
      59,64M 100% 43,22 MB / s 0:00:01 (xfer # 1, để kiểm tra = 0/1)
tổng số: đối sánh = 7723 hash_hits = 9468 false_alarms = 0 data = 22366

đã gửi 54,12K byte nhận được 22,58K byte 17,05K byte / giây
tổng kích thước là 59.64M tăng tốc là 777.59

Không tệ. Rsync chỉ phải chuyển một lượng nhỏ tệp nén mới hơn.


8
2017-11-20 16:13



Nó sẽ là tốt đẹp để so sánh những gì chuyển giao sẽ sử dụng mà không có --rsyncable Tùy chọn. - Kevin Cox


rsync sẽ không tạo một tệp đã nén nhỏ hơn đáng kể trong quá trình chuyển.

Rất có thể các lần chuyển không thành công của bạn sẽ được sửa bằng cách thêm cờ -z. Tôi sẽ đề nghị cố gắng rsync các tập tin (s) không nén. rsync sau đó sẽ nén khi đang di chuyển. Sau đó bạn có lợi thế là tập tin nguồn sẽ thay đổi và bạn cần phải rsync một lần nữa, chỉ có các byte thay đổi sẽ được chuyển giao. Nếu bạn thay đổi một rsync tập tin nén sẽ rất có thể phải truyền lại toàn bộ nó. Xem ở đây để biết thêm chi tiết:

http://beeznest.wordpress.com/2005/02/03/rsyncable-gzip/


2
2017-08-18 08:21





Sử dụng rsync -z sẽ không có bất kỳ lợi thế nào rsync khi xử lý một tệp đã được nén bằng định dạng nén tốt. Tuy nhiên, bạn có thể xem xét việc chia nhỏ tệp nén thành các phần nhỏ hơn, vì vậy bạn có thể truyền nó bằng rsync.

Đây là hướng dẫn cho linux: http://www.techiecorner.com/107/how-to-split-large-file-into-several-smaller-files-linux/ Và đối với Windows: http://www.online-tech-tips.com/computer-tips/how-to-split-a-large-file-into-multiple-smaller-pieces/


2
2017-08-18 08:40