jdk怎么建web項(xiàng)目？JDK是JAVA開(kāi)發(fā)包的總稱。使用JDK創(chuàng)建一個(gè)Web項(xiàng)目意味著你想用JAVA開(kāi)發(fā)Web應(yīng)用程序，所以你可以使用不同的技術(shù)系統(tǒng)。首先，可以使用JSP和Servlet技術(shù)，這是一

jdk怎么建web項(xiàng)目？

JDK是JAVA開(kāi)發(fā)包的總稱。使用JDK創(chuàng)建一個(gè)Web項(xiàng)目意味著你想用JAVA開(kāi)發(fā)Web應(yīng)用程序，所以你可以使用不同的技術(shù)系統(tǒng)。首先，可以使用JSP和Servlet技術(shù)，這是一種相對(duì)原始的JAVA Web開(kāi)發(fā)技術(shù)。雖然有點(diǎn)過(guò)時(shí)，但是簡(jiǎn)單易用，是開(kāi)發(fā)Web項(xiàng)目非?；镜摹５诙N是使用目前主流的Spring框架，尤其是SpringBoot系統(tǒng)，需要IDEA或者Eclips

webmagic詳解？

Webmagic是一個(gè)開(kāi)源的Java垂直爬蟲(chóng)框架。其目標(biāo)是簡(jiǎn)化爬蟲(chóng)的開(kāi)發(fā)過(guò)程，讓開(kāi)發(fā)者專注于邏輯功能的開(kāi)發(fā)。

設(shè)計(jì)原理

Webmagic采用完全模塊化的設(shè)計(jì)，覆蓋了爬蟲(chóng)的全生命周期(鏈接提取、頁(yè)面下載、內(nèi)容提取、持久化)，支持多線程抓取、分布式抓取、自動(dòng)重試、用戶自定義UA/cookie等功能。

Webmagic包含頁(yè)面提取功能，開(kāi)發(fā)者可以使用css選擇器、xpath和正則表達(dá)式提取鏈接和內(nèi)容，支持多個(gè)選擇器鏈調(diào)用。

使用maven

Webmagic使用maven來(lái)管理依賴項(xiàng)，您可以通過(guò)向項(xiàng)目添加相應(yīng)的依賴項(xiàng)來(lái)使用webmagic:

WebMagic使用slf4j-log4j12作為slf4j的實(shí)現(xiàn)。如果您自己定制slf4j的實(shí)現(xiàn)，請(qǐng)從項(xiàng)目中移除這個(gè)依賴項(xiàng)。

項(xiàng)目結(jié)構(gòu)

Webmagic主要包括兩個(gè)包:

webmagic的核心部分——coreweb magic只包含爬蟲(chóng)的基本模塊和基本提取器。webmagic-core的目標(biāo)是成為一個(gè)教科書(shū)式的網(wǎng)絡(luò)爬蟲(chóng)實(shí)現(xiàn)。

webmagic的擴(kuò)展模塊-extensionwebmagic提供了一些更方便的寫爬蟲(chóng)的工具。包括標(biāo)注格式定義爬蟲(chóng)、JSON、分布式等支持。

Webmagic還包含了兩個(gè)可用的擴(kuò)展包，因?yàn)閮蓚€(gè)包都依賴于相對(duì)重量級(jí)的工具，所以與主包分離，這些包需要下載源代碼并自行編譯。