Python自動化測試和爬蟲哪個(gè)方向比較好呢？很糾結(jié)以后是做自動化測試還是爬蟲？我對這兩個(gè)帖子很熟悉，所以我敢說幾句。1. 自動測試和爬蟲是兩個(gè)不同的方向。盡管看起來很多技術(shù)棧是相同的（seleniu

Python自動化測試和爬蟲哪個(gè)方向比較好呢？很糾結(jié)以后是做自動化測試還是爬蟲？

我對這兩個(gè)帖子很熟悉，所以我敢說幾句。

1. 自動測試和爬蟲是兩個(gè)不同的方向。盡管看起來很多技術(shù)棧是相同的（selenium和appnium、數(shù)據(jù)包捕獲工具等），crawler的核心是反爬網(wǎng)，而測試的核心是業(yè)務(wù)。

2. 爬蟲崗位核心競爭力：爬蟲是反爬蟲，即反爬蟲能力。許多目標(biāo)網(wǎng)站可以通過定義字體庫和識別瀏覽器指紋來實(shí)現(xiàn)反爬網(wǎng)。僅僅通過selenium等渲染工具無法滿足一個(gè)合格的爬蟲工程師的技術(shù)要求。讓我說爬行動物最需要的是對抗能力。如果他們沒有很強(qiáng)的自學(xué)能力和抗壓能力，最好做這類業(yè)務(wù)的測試工作，否則幾年后就可能下崗。

3. 測試崗：大部分測試都是純業(yè)務(wù)，不同于爬蟲的對抗崗。工作中幾乎沒有未知的場景，因此相對而言，更大的壓力在于業(yè)務(wù)場景。我只想評判這部分。

4. 就業(yè)與市場：測試的崗位需求遠(yuǎn)大于爬蟲，升級曲線相對平穩(wěn)。如果你對自己的能力不是很有信心，建議進(jìn)行測試。爬蟲是一種比較復(fù)雜的工作，一開始可能很難找到工作。不過，高中畢業(yè)后的工資還是不錯的，后期的技術(shù)發(fā)展前景也比較好，但估計(jì)能堅(jiān)持下來的人很少（堅(jiān)持下來的基本上都是丹尼爾）。事實(shí)上，很多人會做整個(gè)堆?；蚝蠖?。畢竟爬蟲確實(shí)是一項(xiàng)艱苦的工作，而且它有很好的爬蟲能力（基本的前后都比較熟悉）。

最后：事實(shí)上，這取決于個(gè)人職業(yè)規(guī)劃。如果你對自己的能力更有信心，你可以成為一個(gè)爬蟲。如果你想要穩(wěn)定性，你應(yīng)該做自動化測試。畢竟，爬蟲太難了。

Python是什么，什么是爬蟲？具體該怎么學(xué)習(xí)？

Python是為數(shù)不多的既簡單又功能強(qiáng)大的編程語言之一。它易于學(xué)習(xí)和理解，易于上手，代碼更接近自然語言和正常的思維方式。據(jù)統(tǒng)計(jì)，Python是世界上最流行的語言之一。

爬蟲是利用爬蟲技術(shù)捕獲論壇、網(wǎng)站數(shù)據(jù)，將所需數(shù)據(jù)保存到數(shù)據(jù)庫或特定格式的文件中。

具體學(xué)習(xí)：

1）首先，學(xué)習(xí)python的基本知識，了解網(wǎng)絡(luò)請求的原理和網(wǎng)頁的結(jié)構(gòu)。

2）視頻學(xué)習(xí)或找專業(yè)的網(wǎng)絡(luò)爬蟲書學(xué)習(xí)。所謂“前輩種樹，后人乘涼”，按照大神的步驟進(jìn)行實(shí)際操作，就能事半功倍。

3）網(wǎng)站的實(shí)際操作，在有了爬蟲的想法后，找到更多的網(wǎng)站進(jìn)行操作。

寫爬蟲用什么語言好？

爬蟲選擇什么工具？

1. Crawler是一個(gè)網(wǎng)絡(luò)蜘蛛機(jī)器人，它能自動地抓取數(shù)據(jù)并根據(jù)我們的規(guī)則獲取數(shù)據(jù)

2。為什么使用爬蟲？私人定制搜索引擎獲取更多數(shù)據(jù)的時(shí)代不再是互聯(lián)網(wǎng)時(shí)代，而是大數(shù)據(jù)時(shí)代

3。爬蟲的原理：控制節(jié)點(diǎn)（URL分配器）、爬蟲節(jié)點(diǎn)（根據(jù)算法抓取數(shù)據(jù)并存儲在數(shù)據(jù)庫中）、資源庫（存儲爬蟲數(shù)據(jù)庫提供搜索）。爬蟲的設(shè)計(jì)思想：爬蟲的網(wǎng)絡(luò)地址，通過HTTP協(xié)議得到相應(yīng)的HTML頁面

5。爬蟲語言選擇：

PHP:雖然被評為“世界上最好的語言”，但作為爬蟲的缺點(diǎn)：沒有多線程的概念，對異步的支持很少，并發(fā)性不足，爬蟲對效率的要求很高

C/C Java:python最大的競爭對手，它非常龐大和笨重。爬蟲需要經(jīng)常修改代碼

Python：語言優(yōu)美，代碼介紹，多方功能模塊，調(diào)用替代語言接口，成熟的高分布式策略

PYT Java]Java有很多解析器，非常支持網(wǎng)頁解析。缺點(diǎn)是有很多Java開源爬蟲，比如nutch，中國有優(yōu)秀的webmagicjava解析器，比如Htmlparser和jsoup，可以滿足Java和python的通用需求。如果需要模擬登陸和反采集，選擇python更方便。如果需要處理復(fù)雜的網(wǎng)頁，解析網(wǎng)頁內(nèi)容生成結(jié)構(gòu)化數(shù)據(jù)或精細(xì)解析網(wǎng)頁內(nèi)容，可以選擇Java。

java和python在爬蟲方面的優(yōu)勢和劣勢是什么？

根據(jù)課題的描述，課題要解決的主要問題是：如何基于復(fù)雜場景（多接口耦合）進(jìn)行接口自動測試。

以上最佳實(shí)踐也是很多洞，涉水而出。我嘗試了很多方法，甚至開發(fā)了一個(gè)關(guān)鍵字驅(qū)動的自動化測試框架。讓我們談?wù)劵趫鼍暗淖詣踊睦щy，以及為什么最終選擇Python robot框架。

參照關(guān)鍵字驅(qū)動測試的思想，將接口請求發(fā)送、響應(yīng)驗(yàn)證和響應(yīng)內(nèi)容返回三部分封裝為“請求驗(yàn)證”關(guān)鍵字。

同時(shí)封裝“content extraction”關(guān)鍵字，提取接口響應(yīng)體的具體數(shù)據(jù)。這樣就可以得到前一個(gè)接口返回的具體數(shù)據(jù)作為下一個(gè)接口的輸入?yún)?shù)。

就是這樣。任何場景都可以通過“request verification”關(guān)鍵字、“content extraction”關(guān)鍵字和“request verification”關(guān)鍵字進(jìn)行驗(yàn)證

這里我們需要考慮選擇哪些方法和工具。首先，基于測試庫體系結(jié)構(gòu)框架的思想，用Python實(shí)現(xiàn)了關(guān)鍵字方法。robot框架工具的核心思想是關(guān)鍵字驅(qū)動，其主要功能是關(guān)鍵字庫、資源導(dǎo)入和用例編寫。建議將關(guān)鍵字方法作為庫導(dǎo)入后，每個(gè)關(guān)鍵字在自然語言中映射一次，方便業(yè)務(wù)測試人員使用。

Robot框架還支持?jǐn)?shù)據(jù)驅(qū)動。你可以了解它。