首先是通過互聯(lián)網(wǎng)進行網(wǎng)頁抓取，把準備好的URL隊列里的網(wǎng)頁內(nèi)容全部獲取出來。然后把獲取到的數(shù)據(jù)進行預(yù)處理操作，進行初步的去重，去燥，再按照既定的規(guī)則進行數(shù)據(jù)檢索，從而得到需要的數(shù)據(jù)展示給用戶。