전체 글 464

2019.08.30 - Elasticsearch의 시계열 데이터 쿼리 및 집계 작업

일반적으로 Elasticsearch는 검색 엔진이며, Lucene 데이터베이스에 그 검색 인덱스를 유지합니다. 그러나 처음 시작된 이래 Elasticsearch는 그 자체가 고성능의 클러스터와 확장이 가능한 데이터 저장소로 진화해왔습니다. 그 색인 형식은 여전히 처음 시작되었던 때를 반영하지만, 모든 종류의 사용자가 모든 종류의 목적으로 이를 사용합니다.이러한 목적 중 하나는 시계열 데이터를 저장, 처리 및 검색하는 것입니다. 시계열 데이터는 정확한 타임스탬프와 연관되는 모든 데이터 요소를 특징으로 합니다. 가장 빈번하게는, 데이터 요소가 특정 시점에서 이루어진 일종의 측정을 나타냅니다. 이것은 주가일 수도 있고, 과학적인 관찰일 수도 있고, 서버의 로드일 수도 있습니다.시계열 데이터의 취급에 특화된 몇..

Blog 2020.09.25

2019.07.17 - Elastic Stack을 사용하여 NGINX 웹 서버를 모니터링하는 방법

이 글에서는 Elastic Stack의 다양한 구성 요소를 사용하여 NGINX를 모니터링하는 방법을 알아봅니다. Metricbeat와 Filebeat를 사용하여 데이터를 수집합니다. 이 데이터는 Elasticsearch로 전송되어 저장됩니다. 마지막으로 Kibana를 사용하여 해당 데이터를 보겠습니다.Metricbeat는 연결과 관련된 데이터(활성, 처리됨, 수락됨 등) 및 총 클라이언트 요청 수를 수집합니다. Filebeat는 액세스 및 오류 로그와 관련된 데이터를 수집합니다. Mileage는 설정에 따라 다를 수 있지만 대부분이 정보를 사용하여 다음과 같은 특정 사항을 추론할 수 있습니다.특정한 리소스에 대한 오류 로그가 급증한다면 여전히 필요한 리소스를 삭제했음을 의미할 수 있습니다.액세스 로그는 ..

Blog 2020.09.25

2019.06.12 - Elasticsearch, Kibana, Beats, Logstash의 보안을 유지하기 위한 SSL, TLS, HTTPS 구성

Elastic Stack 6.7.x / 7.0.x 또는 그 이전 버전을 실행 중이신가요? 그렇다면, "TLS를 설정하는 방법..." 블로그를 확인해보세요. 사용하시는 버전 내에서 통신 보안을 유지하는 데 도움을 받으실 수 있습니다. 이 블로그 게시물에서 다루는 무료 보안 기능에는 Elastic Stack 6.8/7.1 이상이 필요합니다. Elastic은 Elastic Stack 6.8과 7.1부터 기본 배포(기본 라이선스)의 일환으로 일부 보안 기능을 무료로 릴리즈했습니다. SSL을 이용해 네트워크 트래픽을 암호화하고, 사용자들을 생성 및 관리하며, 인덱스와 클러스터 수준의 액세스를 보호하는 역할을 정의하고, Kibana의 보안을 완전히 유지할 수 있는 새로운 기능이 여기에 포함됩니다. 릴리즈 직후에 나..

Blog 2020.09.25

2019.05.19 - 고급 튜닝: 느린 Elasticsearch 쿼리를 찾아 문제 해결

Elasticsearch는 매우 유연하고 기능이 풍부한 애플리케이션으로, 데이터를 쿼리하는 다양한 방법을 제공합니다. 그러나 기대했던 것보다 느린 속도의 쿼리를 경험해 본 적이 있으신가요? Elasticsearch와 같은 분산 시스템에는 로드 밸런서 설정, 네트워크 지연 시간(대역폭, NIC 카드/드라이버) 등과 같은 외부 요인을 비롯하여 쿼리 성능에 영향을 미치는 다양한 요소가 있을 수 있습니다.이 블로그에서는 쿼리 속도 저하의 원인과 Elasticsearch의 컨텍스트 내에서 이를 식별하는 방법에 대해 설명합니다. 또한 Elasticsearch 작동 방식에 상당히 익숙해야 사용할 수 있는 몇 가지 일반적인 문제 해결 방법을 다룹니다.Elasticsearch 쿼리 속도 저하의 일반적인 원인몇 가지 까다..

Blog 2020.09.25

2020 직업능력개발훈련교사 자료

# 성취도 평가 준비교재의 충분한 정독: 교재 구석 구석에서 출제가 됩니다.Mind Map(아래 link에서 다운) 암기: 교수님들의 강조 point 상식적으로 풀 수 있는 문제는 실습장 안전관리에 출제되는 문제 정도입니다.online에 quiz로 나오는 문제, 기타에 나오는 문제들은 종합평가에 거의 나오지 않습니다.이 문제들은 정리 정도로만 생각하셔야 합니다.online에 quiz로 나오는 문제들처럼 단순한 문제는 몇 개정도만 출제됩니다.사람 이름 등에서 외국어인 경우, 영문으로 나오는 경우가 있습니다. ex) 낙인효과 - stigma effect거의 대부분의 문제가 약간의 생각을 필요로 하니, 문제를 끝까지 신중하게 읽어봐야 합니다.하루에 4번(오전: 2번, 오후: 2번), 인원을 나누어서 보았습니다..

Blog 2020.09.15

redis 4부 - jedis를 이용한 client sample ...

이제 마지막이다. redis server를 다 설치했으니, 그곳에 data를 write하고 또 read해 보자. Java를 이용해, 간단한 sample을 만들어 보겠다. 가장 많이 쓰이는 redis java library는 jedis 라고 한다. 글을 쓰고 있는 시점에서 가장 최신 버전인 3.0.1 을 첨부한다. 또한, 관련 library인 Common Pool 2 library를 첨부한다. 그리고, 입력한 data를 확인하기 위한, RedisDesktopManager for Windows를 첨부한다. jedis의 Java document는 http://xetorthio.github.io/jedis/에서 볼수 있다. 우리는 Sentinel을 이용한 replication을 사용하여, redis cluste..

redis 2019.04.08

redis 3부 - Warning 제거 ...

centos에서 redis를 설치하고, 실행을 하면, log 파일에서 다음과 같은 WARNING이 나타나는 경우가 있다. 이를 제거해 보자. # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128. # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run t..

redis 2019.04.08

redis 2부 - replication ...

지난 게시물인 redis 1부 - 설치에서는 stand alone으로 동작하도록 redis를 구성하였다. 이렇게 stand alone으로 구성할 경우, failover 상황에 대한 대비가 전혀 되지 않는 문제점을 가지게 된다. 이런 상황에 대비하기 위해, redis를 replication으로 구성해 보겠다. redis도 DB의 일종이고, 대부분의 open source DB와 마찬가지로 replication을 지원한다. 1. 전체 구성 일단, sample로 만들어볼 목표 시스템은 아래와 같이 구성할 것이다. 이 예제에서는, 4대의 Machine에 Master 1개, Slave 3개, Sentinel 3개로 구성해 보겠다. 2. 개념 위 그림에서 보이는 몇 가지 새로운 개념에 대해 알아보자. Master r..

redis 2019.04.08

redis 1부 - 설치 ...

redis는 Remote Dictionary Systerm의 약자로서 원격 케시 서버라 할 수 있다. NoSQL로 분류되기도 한다. Memory를 사용하여 고속으로 스타일의 data를 저장하고 가져올 수 있는 원격 시스템으로 정의할 수 있다. 다양한 Data type(List, Set, Sorted Set, Hash, String등)을 지원하며, 당연하게도 Replication도 지원한다. 이 게시물에서는 Redis의 설치 방법을 알아보자 설치할 OS는 CentOS 6.9 이다. redis는 windows, aix등의 OS에 대해 지원하지 않는다. 이들 OS에 대한 binary는 다른 경로를 통해 구해야 한다고 들었다. ip: 10.0.0.1, port: 16000 으로 가정한다. redis는 기본적으로..

redis 2019.04.08