今天試著優(yōu)化一下查詢關(guān)鍵詞排名代碼百度關(guān)鍵詞排名如何，在有大量關(guān)鍵詞的時(shí)候百度關(guān)鍵詞排名如何，可能單線程查詢排名速度會(huì)比較慢，這次試著用進(jìn)程和線程同時(shí)運(yùn)行，查詢關(guān)鍵詞排名速度非?？炝?。

首先運(yùn)行一下效果看看：

檢測(cè)一下，查詢關(guān)鍵詞排名的準(zhǔn)確性：

代碼核心原理

進(jìn)程池+多線程實(shí)現(xiàn)，進(jìn)程池根據(jù)你電腦的cpu核數(shù)同時(shí)進(jìn)行運(yùn)行，線程池根據(jù)查詢頁數(shù)開啟線程數(shù)。前10頁依次查詢，遇到當(dāng)前頁有排名，就return返回，不再執(zhí)行后面線程

def task_pool(): info = connect_db() # get_cookies() with ProcessPoolExecutor(max_workers=8) as executor: executor.map(main,list(info))def range_thr2(keyword,web_name): q = Queue() for page in range(0,100,10): t = Thread(target=spider_index,args=(keyword,q),kwargs={'page':str(page)}) t.start() html = q.get() ranking = parse_ranking(html,web_name) # print(ranking) t.join() return ranking

這樣實(shí)現(xiàn)了快速查詢關(guān)鍵詞排名的任務(wù)了。