The standard
analyzer is used by default for any full-text analyzed
string field. If we were to reimplement the standard
analyzer as a custom
analyzer, it would be defined as follows:
standard
analyzer는 모든 full-text analyzed
string field에 대해 기본적으로 사용된다. standard analyzer를 사용자 정의(custom)
analyzer로 다시 구현한다면, 아래와 같이 정의된다.
{ "type": "custom", "tokenizer": "standard", "filter": [ "lowercase", "stop" ] }
In Normalizing Tokens and Stopwords: Performance Versus Precision, we talk about the lowercase
, and stop
token filters, but for the moment, let’s focus on the standard
tokenizer.
Normalizing Tokens과 Stopwords: Performance Versus Precision에서, lowercase
와 stop
token filter에 대해 이야기할 것이다. 그러나 당장은, standard
tokenizer 에 집중하도록 하자.
'2.X > 3. Dealing with Human Language' 카테고리의 다른 글
3-1-6. Mixed-Language Fields (0) | 2017.09.24 |
---|---|
3-2. Identifying Words (0) | 2017.09.24 |
3-2-2. standard Tokenizer (0) | 2017.09.24 |
3-2-3. Installing the ICU Plug-in (0) | 2017.09.24 |
3-2-4. icu_tokenizer (0) | 2017.09.24 |