來源丨網路
自從2018年被評選為程式語言以來,Python在各大排行榜上一直都是名列前茅。
目前,它在Tiobe指數中排名第三個,僅次於Java和C。隨著該程式語言的廣泛使用,基於Python的自動化測試框架也應運而生,且不斷發展與豐富。
因此,開發與測試人員在為手頭的計畫選擇測試框架時,需要考慮許多方面的因素,其中包括:框架的指令碼品質,測試用例的簡單性,以及執行模組可能存在的技術弱點。為了避免出現「選擇困難癥」,我在此為大家準備了五種Python型別的自動化測試框架,以供比較和討論。
Robot Framework
作為最重要的Python測試框架之一,Robot Framework主要被用在測試驅動(test-driven)型別的開發與驗收中。
雖然是由Python開發而來,但是它也可以在基於.Net的IronPython和基於Java的Jython上執行。同時,作為一個Python框架,Robot還能夠相容諸如Windows、MacOS、以及Linux等平台。
使用先決條件
在使用Robot Framework(RF)之前,您需要先安裝Python 2.7.14及以上的版本。我推薦您使用Python 3.6.4,以確保適當的註釋能夠被添加到程式碼段中,並能夠跟蹤程式的更改。同時,您還需要安裝Python包管理器--pip。
當然,您也必須下載相應的開發框架,例如:在開發者圈子裏比較流行的PyCharm社群版。另外,由於其程式碼段本身並不依賴於任何IDE,因此您完全可以沿用手頭既有的IDE工具。
優點
透過使用關鍵字驅動測試(keyword-driven-test)的方法,它能夠幫助測試人員輕松地建立具有可讀性的測試用例,進而簡化了整個自動化的過程。
使用者能夠輕松地測試數據中的語法。
因為是由各種通用工具和測試庫所組成,所以它不但擁有龐大的生態系,而且可以在單獨的計畫中使用其各個元素。
由於擁有許多型別的API,因此該框架具有高度的可延伸性。
雖然並非內建功能,但是Robot可以透過Selenium Grid(請參見https://www.lambdatest.com/blog/lambdatest-now-live-with-an-online-selenium-grid-for-automated-cross-browser-testing/),來幫助使用者執行各種並列測試。
缺點
雖然有著上述各種便利,但是Robot Framework在建立自訂的HTML報告方面比較繁瑣。您頂多能用它來生成xUnit格式的簡短報告。
另外,Robot Framework在並列測試方面也並不見長。
Robot的特點與競品比較
由於Robot具有豐富的內建庫,並能使用更為簡單的面向測試的DSL(Domain Specific Language),因此如果您是自動化測試領域的新手,並且缺乏開發經驗的話,那麽將它作為Python測試框架要比下面將要提到的Pytest或Pyunit,更容易上手一些。當然,如果您需要開發復雜的自動化框架,那麽還請使用Pytest、或其他型別的Python框架。
Pytest
適用於多種軟體測試的Pytest,是另一個Python型別的自動化測試框架。
憑借著其開源和易學的特點,該工具經常被QA(品質分析)團隊、開發團隊、個人團隊、以及各種開源計畫所使用。鑒於Pytest具有「斷言重寫(assert rewriting)」之類的實用功能,許多大型互聯網套用,如Dropbox和Mozilla,都已經從下面將要提到的unittest(Pyunit)切換到了Pytest之上。
使用先決條件
除了基本的Python知識,使用者並不需要更多的技術儲備。另外,使用者只需要有一台帶有命令列界面的測試裝置,並且安裝好了Python包管理器、以及可用於開發的IDE工具。
優點
過去,開發人員必須將他們的測試包含在各種大型的類中。如今,Pytest可以讓使用者寫出更為緊湊的測試套件。
其他的測試工具會要求開發或測試人員使用偵錯程式,或以日誌檢查的方式檢測某個特定值的來源。而使用者在用Pytest來編寫測試用例時,完全可以將所有的值都儲存在測試用例之中,直到再獲悉有哪些值失敗了、以及哪些值得到了斷言。
由於涉及到的樣板程式碼(boilerplate code)並不多,因此使用者能夠容易地編寫和理解各種測試。
測試夾具(Fixture)函式常被用來向測試函式添加某個參數,並返回不同的值。在Pytest中,您可以透過使用一個夾具來模組化另外一個。同時,使用者可以使用多個夾具,在無需重寫測試用例的情況下,將測試覆蓋到所有參數的組合。
Pytest開發人員透過釋出各種實用外掛程式,來保持框架的可延伸性。例如:pytest-xdist可以在不使用其他測試器的情況下,被用於執行並列測試。同時,單元測試也可以在無需復制任何程式碼的情況下,實作參數化。
透過為開發人員提供各種特殊的常式,它能夠使得測試用例的編寫更為簡單、更不易出錯,同時程式碼也會變得更短、更易被理解。
缺點
上述提及的特殊常式,也意味著使用者必須放棄一定的相容性。雖然方便了使用者編寫測試用例,但是這些用例卻無法與任何其他的測試框架一起被使用。
Pytest的特點與競品比較
就編寫功能性測試用例和開發復雜的框架而言,Pytest勝過下面將要提到的UnitTest。不過,它和Robot Framework類似,僅適用於開發出簡單的測試框架。
如果您正在考慮使用Pytest,請進一步參考【使用Pytest和Selenium WebDriver實作測試自動化】。
UnitTest/PyUnit
受到了JUnit啟發的UnitTest/PyUnit,也是一種標準化的針對單元測試的Python類自動化測試框架。它的基礎類別TestCase提供了各種斷言方法、以及所有清理和設定的常式。因此,TestCase子類別中的每一種方法都是以「test」作為名詞字首,以標識它們能夠被作為測試用例所執行。使用者可以使用load方法和TestSuite類來分組、並載入各種測試。
當然,您也可以透過聯合使用,來構建自訂的測試執行器。正如我們使用Junit去測試Selenium那樣,UnitTest也會用到UnitTest-sml-reporting、並能生成各種XML型別的報告。
使用先決條件
由於UnitTest預設使用了Python,因此我們並不需要什麽先決條件。除了需要具備Python框架的基本知識,您也可以額外地安裝pip、以及用於開發的IDE工具。
優點
開發人員並不需要安裝任何其他的模組。
UnitTest是xUnit的衍生產品,其工作原理與其他xUnit框架十分類似。因此對於那些沒有過硬Python背景的人來說,也能很快地上手。
使用者能夠以更為簡單的方式執行單個測試用例。您只需在終端上預定好名稱,該框架便可靈活地執行各種用例的測試,並產生精煉的輸出。
它能夠在幾毫秒內生成各種測試報告。
缺點
雖然該框架常用snake_case來命名各種Python程式碼,但是由於它源自Junit,因此仍保留了一些傳統的camelCase命名方法。這往往會讓人產生混淆。
由於它過多地支持了抽象方法,因此造成了測試程式碼的目的有時不夠清晰。需要大量的樣板程式碼。
PyUnit的特點與競品比較
和部份Python開發人員的觀點相似,我認為:Pytest能夠培養測試人員以非常緊湊的方式編寫出更好的自動化程式碼,這一編程習慣。盡管UnitTest是Python預設的自動化測試框架,但是其工作原理、及命名規則仍與標準的Python程式碼略有不同。同時,它也需要太多的樣板程式碼。因此該框架並不太受歡迎。
Behave
我們都知道:行為驅動開發(behavior-driven development,BDD),是一種基於敏捷軟體開發的方法。它能夠鼓勵開發人員、業務參與者和QA人員,三者之間的協作。作為另一種Python測試框架,Behave允許團隊避開各種復雜的情況,去執行BDD測試。從本質上說,該框架與SpecFlow和Cucumber非常相似,常被用於執行自動化測試。使用者可以透過簡單易讀的語言來編寫測試用例,並能夠在其執行期間貼上到程式碼之中。而且,那些被設定的行為規範與步驟,也可以被重用到其他的測試方案中。
使用先決條件
任何具備Python基礎知識的人都可以使用Behave。其他先決條件還包括:
您必須先安裝Python 2.7.14及以上的版本。
需要透過Python包管理器或pip來與Behave協作。
大多數開發人員會選擇Pycharm作為開發環境,當然您也可以選用其他的IDE工具。
優點
由於系統行為使用了半正式(semi-formal)語言、以及域詞匯表(domain vocabulary),因此Behave有助於在組織中保持一致性的行為。
讓那些工作在不同模組上的開發團隊,透過協調處理來具有類似的特征。
其構建的各個功能塊能夠執行各種測試用例。
由於具有更多值得使用者推理和思考的細節,因此目標產品會具有更好的規範性。
根據類似的規範格式,它能夠讓計畫經理和利益相關者,對開發團隊和QA團隊的輸出具有更清楚地了解。
缺點
只適用於黑盒測試。
Behave的特點與競品比較
Behave最適合於諸如簡單Web測試之類的黑盒測試。但是,對於那些具有復雜場景的整合測試與單元測試而言,Behave並不是一個很好的選擇。作為Behave的替代品,一些開發與測試人員會推薦使用pytest-bdd。該工具融合了Pytest的所有優點,並實作了各種行為驅動測試的場景。
如果您正在考慮使用Behave,那麽您可以借用【Behave with Selenium】(請參見https://www.lambdatest.com/support/docs/display/TD/Behave+with+Selenium+-+Running+Behave+Automation+Scripts+on+LambdaTest+Selenium+Grid)中提到的自動化指令碼。
Lettuce
Lettuce是另一種基於Cucumber和Python的行為驅動類自動化工具。Lettuce主要專註於那些具有行為驅動開發特征的普通任務。它不但簡單易用,而且能夠使得整個測試過程更流暢、甚至更有趣。
使用先決條件
您需要安裝帶有IDE的Python 2.7.14、及以上的版本。當然,您也可以使用Pycharm或任何其他IDE工具。同時,您還需要安裝Python包管理器。
優點
和其他BDD測試框架類似,Lettuce能夠讓開發人員建立多個場景,並用簡單的自然語言去描述不同的功能。
根據類似的規範格式,開發與QA團隊能夠協調共事。
對於黑盒測試而言,Lettuce非常適合於那些行為驅動的測試用例。
缺點
為了成功地實作行為驅動測試,開發團隊、QA人員以及利益相關者之間需要持續進行溝通。倘若缺乏此類溝通,則會產生流程模糊不清,並讓團隊遇到問題。競品比較
在普通開發人員和自動化測試人員看來,Cucumber在執行BDD測試方面更為實用。而在Python開發和QA人員看來,Pytest-bdd才是的。Pytest的強大之處在於:其框架實作了緊湊且易於理解的程式碼,並能緊密地結合到行為驅動的測試之中。
結語
綜上所述,在上述五種自動化測試的Python框架中,Pytest、Robot Framework和UnitTest可主要用於功能與單元測試,而Lettuce和Behave僅適用於行為驅動測試。透過進一步比較,我們認為:對於功能測試而言,Pytest是的。如果您是基於Python自動化測試的新手,那麽Robot Framework是的入門工具。雖然其功能有所受限,但是它非常容易上手。對於基於Python的BDD測試而言,Lettuce和Behave同樣優秀。不過,如果你已經有了一定的Pytest經驗,那麽請使用Pytest-bdd,希望本文能夠幫助小夥伴們選出合適的Python測試框架,並順利開展測試工作。