webmagic教程 被我們公司的后端大佬說你們前端真的沒什么技術(shù)含量，我該怎么懟回去？
被我們公司的后端大佬說你們前端真的沒什么技術(shù)含量，我該怎么懟回去？直接回復(fù)：dute正在移動磚塊。你還有優(yōu)越感嗎？他們都是敢死隊。你還在死亡的路上嗎？你覺得自己優(yōu)越嗎？webmagic怎么做成分布式的
被我們公司的后端大佬說你們前端真的沒什么技術(shù)含量，我該怎么懟回去？
直接回復(fù)：dute正在移動磚塊。你還有優(yōu)越感嗎？他們都是敢死隊。你還在死亡的路上嗎？你覺得自己優(yōu)越嗎？
webmagic怎么做成分布式的？
本文構(gòu)建了一個基于redis的分布式爬蟲實現(xiàn)，代碼如下：
public class redischeduler implements scheduler{
private jedispool pool
private static final string queueuprefix=“queueu”
private static final string SETuprefix=“SETu”
public redischeduler（string host）{
pool=new jedispool（new jedispool config（）主機）
}
@Override
public void push（請求，任務(wù)）{
Jedis Jedis=池.getResource（）
//使用sortedset進行URL重復(fù)數(shù)據(jù)消除
如果（絕地武士團（設(shè)置前綴）任務(wù).getUUID()， 請求.getUrl（））==null）{
//用列表保存隊列絕地武士（隊列前綴）任務(wù).getUUID()， 請求.getUrl())
絕地武士扎德（設(shè)置前綴）任務(wù).getUUID()， System.currentTimeMillis公司()， 請求.getUrl（））
}
}
@Override
公共請求輪詢（任務(wù)）{
Jedis Jedis=池.getResource（）
字符串url=絕地武士.lpop（隊列前綴）任務(wù).getUUID（））
返回新請求（url）
}
}