rsync 사용해서 데이터 이전을 했는데 너무 느 려요.
문제 설명
rsync 사용해서 데이터 이전을 했는데 너무 느려요. 다른 방법 있는지 문의합니다.
해결 방법
버킷의 “외부 연결 허용” 설정을 하고 rclone이나 cyberduck과 같은 s3 tool을 사용해서 바로 데이터허브로 업로드하면 빠르게 업로드할 수 있습니다.
320GB 짜리 단일 파일이 아니라 여러 파일이 담긴 디렉토리를 업로드할 경우, rclone을 사용해서 병렬로 업로드하면 빠르게 업로드할 수 있습니다.
rclone copy /source/path your-datahub-config:bucket-name --transfers=8 --s3-no-check-bucket --inplace