Blog 54

2019.08.30 - Elasticsearch의 시계열 데이터 쿼리 및 집계 작업

일반적으로 Elasticsearch는 검색 엔진이며, Lucene 데이터베이스에 그 검색 인덱스를 유지합니다. 그러나 처음 시작된 이래 Elasticsearch는 그 자체가 고성능의 클러스터와 확장이 가능한 데이터 저장소로 진화해왔습니다. 그 색인 형식은 여전히 처음 시작되었던 때를 반영하지만, 모든 종류의 사용자가 모든 종류의 목적으로 이를 사용합니다.이러한 목적 중 하나는 시계열 데이터를 저장, 처리 및 검색하는 것입니다. 시계열 데이터는 정확한 타임스탬프와 연관되는 모든 데이터 요소를 특징으로 합니다. 가장 빈번하게는, 데이터 요소가 특정 시점에서 이루어진 일종의 측정을 나타냅니다. 이것은 주가일 수도 있고, 과학적인 관찰일 수도 있고, 서버의 로드일 수도 있습니다.시계열 데이터의 취급에 특화된 몇..

Blog 2020.09.25

2019.07.17 - Elastic Stack을 사용하여 NGINX 웹 서버를 모니터링하는 방법

이 글에서는 Elastic Stack의 다양한 구성 요소를 사용하여 NGINX를 모니터링하는 방법을 알아봅니다. Metricbeat와 Filebeat를 사용하여 데이터를 수집합니다. 이 데이터는 Elasticsearch로 전송되어 저장됩니다. 마지막으로 Kibana를 사용하여 해당 데이터를 보겠습니다.Metricbeat는 연결과 관련된 데이터(활성, 처리됨, 수락됨 등) 및 총 클라이언트 요청 수를 수집합니다. Filebeat는 액세스 및 오류 로그와 관련된 데이터를 수집합니다. Mileage는 설정에 따라 다를 수 있지만 대부분이 정보를 사용하여 다음과 같은 특정 사항을 추론할 수 있습니다.특정한 리소스에 대한 오류 로그가 급증한다면 여전히 필요한 리소스를 삭제했음을 의미할 수 있습니다.액세스 로그는 ..

Blog 2020.09.25

2019.06.12 - Elasticsearch, Kibana, Beats, Logstash의 보안을 유지하기 위한 SSL, TLS, HTTPS 구성

Elastic Stack 6.7.x / 7.0.x 또는 그 이전 버전을 실행 중이신가요? 그렇다면, "TLS를 설정하는 방법..." 블로그를 확인해보세요. 사용하시는 버전 내에서 통신 보안을 유지하는 데 도움을 받으실 수 있습니다. 이 블로그 게시물에서 다루는 무료 보안 기능에는 Elastic Stack 6.8/7.1 이상이 필요합니다. Elastic은 Elastic Stack 6.8과 7.1부터 기본 배포(기본 라이선스)의 일환으로 일부 보안 기능을 무료로 릴리즈했습니다. SSL을 이용해 네트워크 트래픽을 암호화하고, 사용자들을 생성 및 관리하며, 인덱스와 클러스터 수준의 액세스를 보호하는 역할을 정의하고, Kibana의 보안을 완전히 유지할 수 있는 새로운 기능이 여기에 포함됩니다. 릴리즈 직후에 나..

Blog 2020.09.25

2019.05.19 - 고급 튜닝: 느린 Elasticsearch 쿼리를 찾아 문제 해결

Elasticsearch는 매우 유연하고 기능이 풍부한 애플리케이션으로, 데이터를 쿼리하는 다양한 방법을 제공합니다. 그러나 기대했던 것보다 느린 속도의 쿼리를 경험해 본 적이 있으신가요? Elasticsearch와 같은 분산 시스템에는 로드 밸런서 설정, 네트워크 지연 시간(대역폭, NIC 카드/드라이버) 등과 같은 외부 요인을 비롯하여 쿼리 성능에 영향을 미치는 다양한 요소가 있을 수 있습니다.이 블로그에서는 쿼리 속도 저하의 원인과 Elasticsearch의 컨텍스트 내에서 이를 식별하는 방법에 대해 설명합니다. 또한 Elasticsearch 작동 방식에 상당히 익숙해야 사용할 수 있는 몇 가지 일반적인 문제 해결 방법을 다룹니다.Elasticsearch 쿼리 속도 저하의 일반적인 원인몇 가지 까다..

Blog 2020.09.25

2020 직업능력개발훈련교사 자료

# 성취도 평가 준비교재의 충분한 정독: 교재 구석 구석에서 출제가 됩니다.Mind Map(아래 link에서 다운) 암기: 교수님들의 강조 point 상식적으로 풀 수 있는 문제는 실습장 안전관리에 출제되는 문제 정도입니다.online에 quiz로 나오는 문제, 기타에 나오는 문제들은 종합평가에 거의 나오지 않습니다.이 문제들은 정리 정도로만 생각하셔야 합니다.online에 quiz로 나오는 문제들처럼 단순한 문제는 몇 개정도만 출제됩니다.사람 이름 등에서 외국어인 경우, 영문으로 나오는 경우가 있습니다. ex) 낙인효과 - stigma effect거의 대부분의 문제가 약간의 생각을 필요로 하니, 문제를 끝까지 신중하게 읽어봐야 합니다.하루에 4번(오전: 2번, 오후: 2번), 인원을 나누어서 보았습니다..

Blog 2020.09.15

2018.10.23 - 번역 - Space Savings: A Lesser Known Benefit of Index Sorting in Elasticsearch ...

In Elasticsearch 6.0, we released a new feature called index sorting. Read up more on this on the linked blog, but in short, what this does is to take the documents at index time and sort them by a key or set of keys in an order of your choosing. This has a few advantages that we’ve talked about:Elasticsearch 6.0 에서 index sorting이라는 새로운 기능이 출시되었다. link된 게시물에서 이에 대해 자세히 읽어 보자. 간단히 말하자면, index시에 d..

Blog 2019.01.08

2018.10.18 - 번역 - Efficient Duplicate Prevention for Event-Based Data in Elasticsearch ...

The Elastic Stack is used for a lot of different use cases. One of the most common is to store and analyze different types of event or time-series based data, e.g. security events, logs, and metrics. These events often consist of data linked to a specific timestamp representing when the event occurred or was collected and there is often no natural key available to uniquely identify the event. El..

Blog 2019.01.07

2018.08.21 - 번역 - Made To Measure: How to Use the Ranking Evaluation API in Elasticsearch ...

The Ranking Evaluation API that's been added to Elasticsearch is a new, experimental REST API that lets you quickly evaluate the quality of search results for a typical query set. This can be useful either while developing new search queries, incremental improvements of the query templates of an an existing system, or as a basic monitoring tool to detect changes in the search quality of a system..

Blog 2019.01.07

2018.08.15 - 번역 - Test-Driven Relevance Tuning of Elasticsearch using the Ranking Evaluation API ...

This blog post is written for engineers that are always looking for ways to improve the result sets of their search application built on Elasticsearch. The goal of this post is to raise awareness of why you should care about relevance, what components are involved and how you can control them.이 게시물은 Elasticsearch에 구축된 search application의 결과 집합을 개선하는 방법을 모색하고 있는 엔지니어를 위해 작성되었다. 이 게시물의 목표는 relevan..

Blog 2019.01.07