深度解析： Understanding the Mechanics of Google's Crawler Distribution 。 Crawler Pool 是 Search Engines 为了 高效处理 海量网页 而 Designed Mechanism。它将 Websites 分配给 Different Spiders ，以 Maximize Crawling Speed 。 Spider Pool Applications| Algorithm Updates 、Website Optimization 、搜索结果排名 等 Vital