メインコンテンツまでスキップ

rclone을 통한 접속 방법

사용자를 위한 페이지입니다.

사전 요구사항​

시작하기 전, "버킷 > 외부연결정보( i )" 와 "키관리"에서 아래 정보를 확인하십시오.

  • Bucket Name: 프로비저닝된 오브젝트 스토리지의 고유 이름
  • Access Key: 발급된 사용자의 Access Key
  • Secret Key: 발급된 사용자의 Secret Key

rclone 설치​

sudo apt install rclone
rclone config

rclone에서 S3 remote 설정​

아래 예시는 DataHub 버킷(S3 호환)에 접속하기 위한 rclone remote 생성 과정입니다.

# 설정 시작
$ rclone config

# 새 원격 생성
n) New remote
name> datahub

Storage> 4  # S3 (Amazon S3 Compliant Storage)
provider> 4  # Ceph
env_auth>    # Enter (false)

access_key_id> YOUR_ACCESS_KEY
secret_access_key> YOUR_SECRET_KEY

region>       # Enter (빈칸으로 두고 Enter)

# Endpoint (필수)
endpoint> https://datahub-central-01.elice.io

location_constraint>        # Enter
acl>                        # Enter
server_side_encryption>     # Enter
sse_kms_key_id>             # Enter

Edit advanced config? (y/n) n
Keep this "datahub" remote? (y/n) y
q) Quit config

연결 확인​

remote 이름을 datahub로 생성했다면, 아래 명령으로 연결을 확인할 수 있습니다. 컨테이너 기반 인스턴스 환경에서는 최상위 목록 조회(rclone lsd datahub:)가 제한될 수 있습니다. 이 경우 버킷 이름을 명시하여 조회하세요.

# 버킷 내부 폴더 목록(권장)
rclone lsd datahub:BUCKET_NAME

# 버킷 내부 파일 목록
rclone ls datahub:BUCKET_NAME

업로드/다운로드​

업로드 (로컬/인스턴스 → 버킷)​

# 파일/디렉토리 업로드
rclone copy /source/path datahub:BUCKET_NAME --progress

대용량/다수 파일(디렉토리) 업로드 시 병렬 전송 예시​

rclone copy /source/path datahub:BUCKET_NAME \
  --transfers=8 --s3-no-check-bucket --inplace --progress

다운로드 (버킷 → 로컬/인스턴스)​

rclone copy datahub:BUCKET_NAME /dest/path --progress

동기화(sync)​

소스와 대상의 내용을 동일하게 맞춥니다(대상에서 삭제가 발생할 수 있음).

rclone sync /source/path datahub:BUCKET_NAME --progress

자주 쓰는 명령어​

# 파일 하나만 업로드
rclone copyto ./file.bin datahub:BUCKET_NAME/file.bin --progress

# 특정 폴더만 업로드
rclone copy ./dir datahub:BUCKET_NAME/dir --progress

# 특정 파일 제외(예: 임시 파일)
rclone copy /source/path datahub:BUCKET_NAME --exclude "*.tmp" --progress

# 특정 파일만 선택 업로드(예: 확장자)
rclone copy /source/path datahub:BUCKET_NAME --include "*.parquet" --progress

# 버킷 내 용량 확인
rclone size datahub:BUCKET_NAME

마운트​

버킷을 로컬 디렉토리로 마운트해 파일시스템처럼 접근할 수 있습니다.

mkdir -p ~/datahub
rclone mount datahub:BUCKET_NAME ~/datahub --vfs-cache-mode writes --daemon

마운트 해제​

fusermount -u ~/datahub