用戶中心USER CENTER
摘要：由于公司網(wǎng)站配置的測(cè)試環(huán)境被百度爬蟲(chóng)抓取，干擾了線上正常環(huán)境的使用，剛好看到每次搜索淘寶時(shí)，都會(huì)有一句由于文件存在限制指令無(wú)法提供內(nèi)容描述，于是便去學(xué)習(xí)了一波原來(lái)一般來(lái)說(shuō)搜索引擎爬取網(wǎng)站時(shí)都會(huì)，先讀取下文件，并依照里面所設(shè)定的規(guī)則去爬取ps：由于公司網(wǎng)站配置的測(cè)試環(huán)境被百度爬蟲(chóng)抓取，干擾了線上正常環(huán)境的使用，剛好看到每次搜索淘寶時(shí)，都會(huì)有一句由于robots.txt文件存在限制指令無(wú)法提供內(nèi)...
