[ES] minio에 스냅샷 생성하기(백업)

8.2 버전은 s3 리포지토리 플러그인이 elasticsearch에 포함되어있어 따로 설치하지 않아도 된다. 

https://www.elastic.co/guide/en/elasticsearch/plugins/8.2/repository-s3.html

# s3 플러그인을 설치하려고 하면 다음과 같은 메시지가 뜬다 따라서 따로 설치하지 않아도 된다.
elasticsearch@e1f8e9abc280:~/bin$ elasticsearch-plugin installrepository-s3 --batch
-> Installing repository-s3
[repository-s3] is no longer a plugin but instead a module packaged with this distribution of Elasticsearch
-> Please restart Elasticsearch to activate any plugins installed

 

 

1. es에 minio 자격 증명 추가하기

모든 노드에 minio 자격 증명을 추가한다. 

docker exec -it ${컨테이너 id} /bin/bash
bin/elasticsearch-keystoreadd s3.client.default.access_key
bin/elasticsearch-keystoreadd s3.client.default.secret_key

노드 다시 시작한다(다시 시작할때는 샤드 할당 제한 → 다시 시작 → 샤드 할당 활성화)

 

2. 스냅샷 repository 생성

키바나 dev tool 또는 curl 명령어로 날린다.

# _snapshot/레포지토리이름
PUT _snapshot/minio-backup
{
   "type": "s3",
   "settings": {
      "bucket": "elasticsearch", # minio의 백업할 버킷 이름
      "endpoint": "XXXX.com:9000", # minio 주소
      "path_style_access": "true",
      "protocol": "https"
   }
}

 

3. 스냅샷 생성

# _snapshot/레포지토리이름/스냅샷이름
# wait_for_completion는 동기 작업으로 실행해주어 명령이 끝나지 않고 대기하도록 설정해주는 옵션
PUT _snapshot/minio-backup/log?wait_for_completion=true
{
   "indices": "log*" #스냅샷대상이되는 인덱스들을 지정 * 적용하여 log로 시작하는 인덱스를 대상으로 한다.
}

 

4. 스냅샷 생성 확인

GET _snapshot/minio-backup/log-snap
{
   "snapshots" : [
     {
       "snapshot" : "log-snap", # 스냅샷 이름을 확인한다.
       "uuid" : "JGPoE8HrSLCF8stdUhMCvw",
       "repository" : "minio-backup", # 레포지토리를 확인한다.
       "version_id" : 8020099,
       "version" : "8.2.0",
       "indices" : [ # 스냅샷으로 저장되는 인덱스를 확인한다.
         "log-2023.04.02-000367",
         "log-2023.04.02-000366",
       ],
       "data_streams" : [ ],
       "include_global_state" : true,
       "state" : "IN_PROGRESS", # 현재 스냅샷 상태를 확인한다. 진행중이면 IN_PROGRESS, 성공했으면 SUCCESS 가 뜬다.
       "start_time" : "2023-05-31T10:01:38.894Z",
       "start_time_in_millis" : 1685527298894,
       "end_time" : "1970-01-01T00:00:00.000Z",
       "end_time_in_millis" : 0,
       "duration_in_millis" : 0,
       "failures" : [ ],
       "shards" : {
         "total" : 146,
         "failed" : 125,
         "successful" : 21
       }
     }
   ],
   "total" : 1,
   "remaining" : 0
 }