2.X/3. Dealing with Human Language

3-2-1. standard Analyzer

drscg 2017. 9. 24. 17:37

The standard analyzer is used by default for any full-text analyzed string field. If we were to reimplement the standard analyzer as a custom analyzer, it would be defined as follows:

standard analyzer는 모든 full-text analyzed string field에 대해 기본적으로 사용된다. standard analyzer를 사용자 정의(custom) analyzer로 다시 구현한다면, 아래와 같이 정의된다.

{
    "type":      "custom",
    "tokenizer": "standard",
    "filter":  [ "lowercase", "stop" ]
}

In Normalizing Tokens and Stopwords: Performance Versus Precision, we talk about the lowercase, and stop token filters, but for the moment, let’s focus on the standard tokenizer.

Normalizing Tokens과 Stopwords: Performance Versus Precision에서, lowercase 와 stop token filter에 대해 이야기할 것이다. 그러나 당장은, standard tokenizer 에 집중하도록 하자.

'2.X > 3. Dealing with Human Language' 카테고리의 다른 글

3-1-6. Mixed-Language Fields  (0) 2017.09.24
3-2. Identifying Words  (0) 2017.09.24
3-2-2. standard Tokenizer  (0) 2017.09.24
3-2-3. Installing the ICU Plug-in  (0) 2017.09.24
3-2-4. icu_tokenizer  (0) 2017.09.24