1-05-3. Pagination

Our preceding empty search told us that 14 documents in the cluster match our (empty) query. But there were only 10 documents in the hits array. How can we see the other documents?

이전의 empty search에서, cluster에는 (empty) query에 일치하는 14개의 document가 있다. 그런데 hits 배열에는 10개의 document만 있었다. 다른 document는 어떻게 볼 수 있을까?

In the same way as SQL uses the LIMIT keyword to return a single "page" of results, Elasticsearch accepts the from and size parameters:

SQL에서, 결과 중 하나의 "page" 를 반환하기 위해, LIMIT keyword를 사용하는 것과 동일한 방식으로, Elasticsearch는 from 과 size 매개변수를 사용한다.

size

Indicates the number of results that should be returned, defaults to 10

몇 개의 결과를 반환할 것인가? default : 10

from

Indicates the number of initial results that should be skipped, defaults to 0

몇 개의 초기 결과를 생략할 것인가? default : 0

If you wanted to show five results per page, then pages 1 to 3 could be requested as follows:

page당 5개의 결과를 보여주려면, page 1 ~ 3은 다음과 같이 request해야 한다.

GET /_search?size=5
GET /_search?size=5&from=5
GET /_search?size=5&from=10

COPY AS CURLVIEW IN SENSE 

Beware of paging too deep or requesting too many results at once. Results are sorted before being returned. But remember that a search request usually spans multiple shards. Each shard generates its own sorted results, which then need to be sorted centrally to ensure that the overall order is correct.

한 번에 너무 깊은(deep) page나 너무 많은 결과를 request하는 것은 피해야 한다. 결과는 반환되기 전에 정렬된다. 그러나, 검색 결과는 일반적으로 여러 shard에 걸친다는 것을 기억하자. 각 shard는 자신만의 정렬된 결과를 생성한다. 그 다음에 전체적인 순서가 올바른지 보장하기 위해, 중앙에서 정렬되어야 한다.

분산 시스템에서 깊은(deep) 페이지 계산

To understand why deep paging is problematic, let’s imagine that we are searching within a single index with five primary shards. When we request the first page of results (results 1 to 10), each shard produces its own top 10 results and returns them to the coordinating node, which then sorts all 50 results in order to select the overall top 10.

깊은 paging이 문제가 되는 이유를 이해하기 위해, 5개의 primary shard를 가진 단일 index에서 검색하는 상황을 가정해 보자. 결과의 첫 번째 page(결과 1 ~ 10)를 request했을 때, 각 shard는 자신의 상위 10개의 결과를 만들고, coordinating node 로 그것을 반환한다. 그 다음에, 전체 상위 10개의 결과를 선택하기 위해, 모두 50개의 결과를 정렬한다.

Now imagine that we ask for page 1,000—results 10,001 to 10,010. Everything works in the same way except that each shard has to produce its top 10,010 results. The coordinating node then sorts through all 50,050 results and discards 50,040 of them!

이제, 1,000 번째 page(결과 10,001 ~ 10,010)를 request한다고 가정해 보자. 각 shard가 자신의 상위 10,010개의 결과를 만든다는 것을 제외하고는, 모든 것이 동일한 방식으로 작동한다. coordinating node는 모두 50,050의 결과를 정렬하고 그들 중 50,040을 버린다.

You can see that, in a distributed system, the cost of sorting results grows exponentially the deeper we page. There is a good reason that web search engines don’t return more than 1,000 results for any query.

분산 시스템에서 page가 깊어질수록, 결과의 정렬 비용이 기하 급수적으로 증가하는 것을 알 수 있다. web search engine이 모든 query에 대해, 1,000 개 이상을 반환하지 않는 아주 좋은 이유이다.

In Reindexing Your Data we explain how you can retrieve large numbers of documents efficiently.

Reindexing Your Data에서 많은 수의 document를 효과적으로 가져오는 방법에 대하여 이야기할 것이다.