🧐저것이것🤨

• bluefield3 ubuntu NVIDIA DOCA repo 설치 시 NO_PUBKEY 에러 해결 BlueField-2 DPU (Ubuntu 24.04, aarch64)에서 DOCA repository를 추가하다가 GPG 키 검증 에러발생 에러 메시지NVIDIA가 안내하는 절차대로 GPG 키와 repo를 등록한 뒤 apt-get update를 하면 다음과 같이 실패한다.W: GPG error: https://linux.mellanox.com/public/repo/doca/latest/ubuntu24.04/aarch64 ./ Release: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY F055**********E: The repository 'https://linux.mell.. 2026.05.13
• fleuntd 플래그로 opensearch 설정하기(aws opensearch, 오픈소스 opensearch) fluentd 에서 오픈소스 opensearch 로 데이터 보내기- 카프카로 컨슘 받거나 로그 수집 부분은 생략- opensearch 로 데이터 전송 부분만 기재 @type opensearch hosts "#{ENV['OPENSEARCH_ENDPOINT']}" user "#{ENV['OPENSEARCH_USERNAME']}" password "#{ENV['OPENSEARCH_PASSWORD']}" index_name "#{ENV['INDEX_NAME']}" ssl_verify false reload_connections false verify_os_version_at_startup false default_opensearch_version 2 request_timeout 60s co.. 2025.07.14
• ingest pipeline 으로 automatic timestamp 찍기 목표opensearch 에 데이터가 인덱싱된 시간을 보기 위해 "timestamp" 필드를 생성하여 자동으로 시간을 입력해준다.배경로그에 로그가 생성된 시간인 @timestamp 라는 필드가 있지만 해당 시간이 opensearch 에 적재되는 시간은 아니다.opensearch 에 적재 되는 시간 파악이 필요해서 ingest pipeline을 이용해서 적재 시간을 기록해준다.ingest pipeline 이란? opensearch 인덱싱 전에 프로세서를 통해 데이터값에 대한 제거, 추출등 전처리 과정을 수행할 수 있는 기능여러 전처리 기능이 가능하다. tutorial1) ingest pipeline 생성PUT _ingest/pipeline/${pipeline명}{ "processors": [ .. 2025.07.14
• [OS] [snapshot]k8s bitnami opensearch 로 snapshot s3 연결하기(폐쇄망) 1. 배경opensearch 의 스냅샷을 s3 로 저장하기 위함이다2. 필요 작업1. repository-s3 플러그인 설치2. s3 자격증명(access key, secret key) 추가3. 문제플러그인 설치와 자격증명을 클러스터에 추가한 뒤, 적용을 위해 클러스터 재시작이 필요하다. 하지만... docker는 docker restart 를 하면 플러그인, 자격증명 추가한게 남아있지만!! k8s pod는 추가한게 안남아있다. 따라서 재시작이 전혀 먹히지 않는다. 4. 해결방향보통 이런 경우면 initContainer 를 이용한다. 4-1. s3 plugin 폐쇄망이기 때문에 s3 plugin 은 zip 파일로 받아서 해당 zip 파일이 포함된 docker image를 하나 띄운다. 그리고 이 imag.. 2025.04.13
• keyword 타입으로 매핑된 필드에 int 값으로 넣게된다면(검색, sum 쿼리) 테스트 상황keyword 로 mapping 되어있는 필드에 int 값으로 데이터를 넣었다. 1. keyword 타입 매핑 확인 # 인덱스의 매핑 테이블 확인GET ${인덱스명}/_mapping2. 해당 인덱스에 size 필드값을 int 값인 1955 를 넣어보기("1955" 가 아닌 1955)3. 대시보드 discover에서 확인해보면 언뜻 keyword가 아닌 int 타입인것처럼 보인다. 또한 int 로 검색해도 결과가 나온다. 3-1. keyword 로 쿼리 시 결과는 잘 나온다3-2. int 로 쿼리 시 결과는 잘 나온다.keyword 타입인데도 int 로 검색이 되는 이유는?opensearch의 keyword 필드는 문자열 타입으로 설계되어있지만 숫자값을 문자열 형태로 검색할 때 자동 타입변환(t.. 2025.02.26
• 인덱스에 있는 필드가 대시보드 discover에서 안보일 때 문제 상황GET log-000100/_mapping{ "log-000100": { "mappings": { "dynamic": "false", "properties": { "@timestamp": { "type": "date" }, "account": { "type": "keyword", "ignore_above": 32000 }....인덱스 매핑에는 분명 존재하는 필드, query 시에도 나온다.하지만 opensearch dashboard 에는 나오지 않는다.(해당 인덱스가 index pattern 으로 있는 경우) 이유discover는 대시보드 영역이여서 index 의 새로운 필.. 2025.02.24
• [OS, ES] 인덱스 생성 가이드(component template, index template 이용하기) 그냥 간단하게 하는 방법도 있지만 매일 100기가가 넘는 인덱스를 관리하는 입장에서 이렇게 인덱스를 생성했다. 1. component template 생성component template 생성 이유component template은 사실 생성을 안해도 되고 index template에 바로 필드를 넣어도 된다. component template는 어떨때 생성하면 좋을까? 그것은 같은 setting, mapping 정보를 사용하는 인덱스 템플릿이 많을 때 관리하지 좋다. 예로는 아래와 같다. 멀티 테넌트 환경에서 여러 테넌트의 공통 인덱스 필드를 관리하기 위해서 component template 사용👉firewall 로그를 받는 인덱스 템플릿이 있다. 해당 인덱스 템플릿은 A, B, C 테넌트 모두 존재.. 2023.10.04
• [OS] 매핑필드 수정 후 중단 시간 없이 새인덱싱 만들기(aliase로 변경) 어떤 상황일 때 수행하는지?매핑테이블을 통해 필드를 관리하고 있을때, 중간에 필드 타입이 수정되거나 필드 추가 시 현재 진행중인 인덱스를 새로운 인덱스로 변경하여 변경된 필드를 적용하고싶을 때 1. 매핑 테이블에서 매핑 수정 2. 새로운 인덱스에 에러난 로그가 들어가는지 확인POST log-network-2023.09.12-000029/_doc{ # 새로운 필드가 포함되거나 수정된 필드가 포함된 로그} 3. alise 변경POST _aliases{ "actions": [ { "add": { "alias": "log-network", "index": "log-network-2023.09.12-000028", # 지금 인덱스 "is_write_index".. 2023.10.04
• [OS] prometheus 연결해서 grafana로 opensearch(docker) 클러스터 상태 모니터링하기(폐쇄망) 목표오픈서치에 prometheus 플러그인을 설치하여 grafana로 opensearch 클러스터 상태를 모니터링 전제 조건elasticsearch에서는 kibana에 클러스터 상태를 모니터링 할 수 있는 메뉴가 존재했지만 opensearch 에서는 존재하지 않는다(2023.08 기준, 곧 추가된다고 한다)docker-compose를 이용하여 opensearch를 설치했을 때 경우이다. 폐쇄망 환경에서 zip 파일로 플러그인을 설정해준는 경우이다. 1. opensearch_exporter zip 파일 다운받기프로메테우스 exporter 플러그인을 다운받아야한다. https://github.com/Aiven-Open/prometheus-exporter-plugin-for-opensearch해당 github.. 2023.09.10
• [ES] [snapshot] minio에 스냅샷 생성하기 8.2 버전은 s3 리포지토리 플러그인이 elasticsearch에 포함되어있어 따로 설치하지 않아도 된다. https://www.elastic.co/guide/en/elasticsearch/plugins/8.2/repository-s3.html# s3 플러그인을 설치하려고 하면 다음과 같은 메시지가 뜬다 따라서 따로 설치하지 않아도 된다.elasticsearch@e1f8e9abc280:~/bin$ elasticsearch-plugin installrepository-s3 --batch-> Installing repository-s3[repository-s3] is no longer a plugin but instead a module packaged with this distribution of Ela.. 2023.09.10
• [OS] hot-warm노드 연결 참고https://opensearch.org/docs/latest/tuning-your-cluster/index/#advanced-step-7-set-up-a-hot-warm-architecture Creating a clusterCreating a clusteropensearch.org 📌Hot-Warm 노드란?스토리지에 따른 노드 구분을 할 수 있다. SSD 같이 비싸고 쿼리가 빠른 스토리지를 사용하는 노드를 hot 노드라고 지정할 수 있다. hot노드는 빠르게 검색이 필요한 데이터들을 저장할 수 있다. warm노드는 hot 스토리지보다는 싼 스토리지를 사용한다. 여기서는 hot노드만큼 검색이 되지는 않지만 검색이 필요한 데이터를 저장한다. 📌Hot-Warm 노드를 사용해야되는 이유모든 데이터.. 2023.09.10