jdk怎么建web項(xiàng)目？JDK是JAVA開發(fā)包的總稱。使用JDK創(chuàng)建一個Web項(xiàng)目意味著你想用JAVA開發(fā)Web應(yīng)用程序，所以你可以使用不同的技術(shù)系統(tǒng)。首先，可以使用JSP和Servlet技術(shù)，這是一

jdk怎么建web項(xiàng)目？

JDK是JAVA開發(fā)包的總稱。使用JDK創(chuàng)建一個Web項(xiàng)目意味著你想用JAVA開發(fā)Web應(yīng)用程序，所以你可以使用不同的技術(shù)系統(tǒng)。首先，可以使用JSP和Servlet技術(shù)，這是一種相對原始的JAVA Web開發(fā)技術(shù)。雖然有點(diǎn)過時，但是簡單易用，是開發(fā)Web項(xiàng)目非?；镜?。第二種是使用目前主流的Spring框架，尤其是SpringBoot系統(tǒng)，需要IDEA或者Eclips

webmagic詳解？

Webmagic是一個開源的Java垂直爬蟲框架。其目標(biāo)是簡化爬蟲的開發(fā)過程，讓開發(fā)者專注于邏輯功能的開發(fā)。

設(shè)計(jì)原理

Webmagic采用完全模塊化的設(shè)計(jì)，覆蓋了爬蟲的全生命周期(鏈接提取、頁面下載、內(nèi)容提取、持久化)，支持多線程抓取、分布式抓取、自動重試、用戶自定義UA/cookie等功能。

Webmagic包含頁面提取功能，開發(fā)者可以使用css選擇器、xpath和正則表達(dá)式提取鏈接和內(nèi)容，支持多個選擇器鏈調(diào)用。

使用maven

Webmagic使用maven來管理依賴項(xiàng)，您可以通過向項(xiàng)目添加相應(yīng)的依賴項(xiàng)來使用webmagic:

WebMagic使用slf4j-log4j12作為slf4j的實(shí)現(xiàn)。如果您自己定制slf4j的實(shí)現(xiàn)，請從項(xiàng)目中移除這個依賴項(xiàng)。

項(xiàng)目結(jié)構(gòu)

Webmagic主要包括兩個包:

webmagic的核心部分——coreweb magic只包含爬蟲的基本模塊和基本提取器。webmagic-core的目標(biāo)是成為一個教科書式的網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)。

webmagic的擴(kuò)展模塊-extensionwebmagic提供了一些更方便的寫爬蟲的工具。包括標(biāo)注格式定義爬蟲、JSON、分布式等支持。

Webmagic還包含了兩個可用的擴(kuò)展包，因?yàn)閮蓚€包都依賴于相對重量級的工具，所以與主包分離，這些包需要下載源代碼并自行編譯。