可攜式刺激源標準(PSS)是最新的業界標準,其用來規範測試意圖與行為,讓測試刺激源可重複套用到不同的目標平台。PSS不僅改變系統單晶片(SoC)傳統的確認與驗證方法,也帶來了許多優點以及衍生不少挑戰。本文繼上篇從SystemC效能分析探索互連匯流排架構的生命週期探討,下篇著重於分析解說如何透過通用型PSS流量產生器進行確認與驗證。
隨著設計要求日趨複雜,驗證技巧與方法也隨之不斷演進。可攜式刺激源標準(PSS)是演進的最新產物,它的目的是因應測試可攜性的挑戰。新型PSS允許用戶建立測試意圖,藉以重複套用到不同的目標平台。除了可攜性之外,PSS驗證技巧還提供多方面的價值,包括視覺測試代表性、限制設定、資料流程隨機性及更高的測試品質。本文探討這些演變,提出一項互連匯流排架構的案例研究,進行SystemC效能分析解說確認與驗證過程。
互連匯流排的UVM式驗證
互連架構的效能分析可歸納出效能、功率及空間的最佳組態。確定互連組態後,即可用來產生AMBA互連RTL以及可設定的自動化流程。但這種流程由於存在組態、軟體結構、以及人工解讀組態等方面的限制因此容易出錯,所以需要進行驗證,確保無瑕疵的產生流程。在以往這方面都是採用業界標準UVM方法。
圖5顯示用來驗證互連匯流排的UVM環境,當中包含不同類型的AMBA(AXI、AHB、APB)主控器與UVC從屬端,以客製化組態分別連到DUT從屬端與主控器。這個環境可用通用組態進行設定。記分板(scoreboard)不僅會記錄交易,還會顯示任何資料不匹配的AI。
測試包含一系列程序以及虛擬程序,用來控制底層UVC與介面的功能。測試程序依循的測試計畫,是源自針對性與隨機性測試案例。功能覆蓋點亦是依據驗證計畫所建立,藉以確保符合規格。在此之後會執行多項模擬與建立一個覆蓋資料庫,藉以蒐集程式碼與功能覆蓋範圍。接著會分析資料庫並檢驗覆蓋區的死角。接下來進行回歸測試,然後產生報告並分析結果。這個流程會不斷重複,直到達到想要的覆蓋目標,以確保高品質的驗證。
連同做為驗證計畫一部分的導引式測試,UVM技巧依賴隨機測試來達到覆蓋目標。它從隨機刺激源開始,之後逐漸限縮限制條件,直到達成覆蓋目標為止,依賴隨機化的與運算主機群的蠻力來覆蓋狀態空間。程式碼覆蓋率是定量衡量數據,但功能覆蓋則是DUT程式碼執行的定性衡量。通常這項品質受限於人們執行驗證計畫以及分析覆蓋報告方面的勤奮與堅持程度。
另一項決定驗證品質的因素是高效率的自動化檢查。結合利用記分板進行封包比較,以及判定檢查點,可在流程後段判定後晶片bug瑕疵的數量。UVM式驗證技巧是自給自足且有效的方法,可確保高品質的驗證。然而,PSS技巧可透過各種功能進一步改善驗證流程。
PSS式驗證一開始是針對每項設計規格建立驗證計畫,然後設立驗證環境。之後針對可攜式刺激源模型、限制條件、以及組態檔案擷取出測試意圖。支援這項標準的工具之後可為特定種類的驗證環境產生測試程序,以及蒐集圖像式覆蓋圖表。分析這種類型的覆蓋範圍,可顯示在測試限制條件與組態下的覆蓋漏洞,以及重新檢討流程。
圖6顯示驗證流程以及介紹PSS模型。這裡要提的重點是PSS模型不會取代UVM環境,實際上,它是加到現有UVM環境以增強其功能。UVM驗證環境仍會有主控器與從屬端UVC,以及SB與組態,而虛擬程序則會繞過UVM SV基礎架構。這個環境是由頂層UVM測試來控制,一方面呼叫虛擬程序來控制UVC作業,另一方面與可攜式刺激源互動,並透過PLI與DPI式系統呼叫產生格式。PSS模型完全可重複用在SystemC式效能建模程序。由PSS模型產生的測試邏輯會控制各UVC之間的作業。IP層級的模擬則會使用產生的測試來執行,並蒐集覆蓋數據。
表2顯示在PSS與UVM驗證環境中進行回歸檢驗的結果。由於採用UVM方法,讓達到最高覆蓋範圍(套用豁免條件)需執行的受限隨機測試的次數大幅降低。PSS驗證的隨機機制一開始是執行抽象描述,描述DUT高層級狀態之間的合法交易,以及自動仿真覆蓋這個狀態空間所需的最少測試。圖像覆蓋範圍讓使用者能檢視橫向傳遞路徑以及產生測試,藉以覆蓋最大長度的圖像。
表2. PSS UVM 設定與回歸
測試運行(Tests Run)
|
通過
|
失敗
|
不執行
|
整體程式碼覆蓋率
|
(僅UVM) 125
|
125
|
0
|
0
|
298034/388949 (76.6%)
|
(UVM PSS) 75
|
75
|
0
|
0
|
298034/388949 (76.6%)
|
可攜式刺激源驗證方法可以控制的另一項因素,就是測試品質。由於可透過圖像看到測試狀況,讓使用者可以更好地瞭解控制以及資料流程。此外,相同的工具還能用來在執行階段進行主動檢查,允許有效的自動檢查。這方面還能結合記分板檢查以及判定檢查點,藉以改善驗證品質。
可攜式刺激源方法是在更高的抽象層上執行,之後會整合底層的驗證流程。因此儘管在測試或刺激源產生流程方面有明確的改善,這種驗證方法仍以原始型態侷限在底層流程。在和UVM環境整合方面,一方面它受益於重複使用驗證元件,另一方面它也會受限於本身的複雜性。類似的狀況,在UVM方面,驗證的品質受限於驗證計畫的品質以及覆蓋報告的分析。
互連匯流排的SoC驗證
當互連整合成SoC的一部分,就必須檢查它與系統中各主控器與從屬端之間的整合狀況。這方面通常是在處理器上執行C語言測試,藉以檢查互連匯流排的整合狀況。IP層級上的通用主控器會變換成特定匯流排主控器,像是多重處理器、DSP、DMA控制器、各種序列協定的主控器,像是SPI、I2C、CAN等協定,以及各種客製化主控器與從屬端。這會引發特定程序或巨集,藉以控制SoC中的不同主控器與從屬端。
巨集或程序通常會進行暫存器程式化,藉以從包括DMA控制器、記憶體等主控器接收與發送交易。在這個層級並沒有受限的隨機化,因此每種情境都必須探索以及進行人工撰寫程式。在重複使用方面,IP層級的某些UVM監視器可用來監視協定或利用記分板來檢查任何特定的興趣點。但一旦轉移關注焦點,就必須重新執行涵蓋主要部分的測試與程序。
PSS驗證技巧是為SoC測試重複使用的IP所設計。圖7顯示在SoC層級驗證方面重複使用流量產生器PSS模型。在IP層級撰寫的模型,係針對不同位址映射進行設定,配合每種SoC規格與針對C測試產生程序。
模型中幾乎所有程序–除了整合執行程式碼的部分以外–都可重複使用在為處理器應用撰寫模型上,亦即這類執行程式碼遠遠較為複雜,包括各種主控器爭奪啟動與關閉巨集,或是像DMA與記憶體控制器,它們能啟動互連匯流排上的單一或突發交易。
對於每個通用主控器,需要重新撰寫執行程式碼,藉以讓它們能和SoC中各種主控器進行整合。工具的隨機性允許多種主控器與從屬端交易的組合。SoC層級上針對整合檢查建立目標測試的限制,可配合測試的視覺表徵妥善管理。在產生C語言測試後,它們會和SoC設定以及一些系統標準基礎架構進行整合。C語言測試之後會進行編譯,然後在處理器執行,用來產生交易。
圖7顯示運用PSS工具建立多核心測試,這類測試很難以人工撰寫出來。測試意圖的不同部分可設定在核心上執行,藉以建立有趣的情境。在含有多個匯流排主控器的狀況,上述功能特別有用。由於有這種功能組合,讓不同主控器進行程式化變得可行。能夠重新產生SoC層級的圖像化受限隨機測試,但又不需實際重寫這些情境,也是一項重大優勢。
另外,它也允許測試產生,利用不同的位址映射檢查相同IP的不同執行例。而當我們在SoC層級上,在SoC層級為不同IP結合不同種類的PSS模型,就可以創建出各種複雜情境,若是以人工撰寫的方式就很難創建。
互連匯流排的驗證 ;
業者需要執行驗證才能確定產品合規性,確保符合客戶的規格、可用性及符合允收(acceptance)測試的要求。傳統上,評估板需要執行C語言測試,通常都是根據原始規格以人工撰寫程式碼。這種重複性的工作可利用PSS方法大幅精減,讓系統自動產生相容於評估軟體的C語言測試碼。
圖8代表PSS方法的驗證流程。流量產生器的PSS模型可根據每種SoC規格以及配合Eval-C測試產生流程,針對不同位址映射進行設定。PSS工具通常能夠針對多個核心產生測試程序,支援特定情境的測試。產生的C測試程序經過除錯器的編譯,程式碼會透過像JTAG的介面載入到評估板。執行測試程式碼之後,結果就會顯示在評估板與除錯器介面。在SoC層級撰寫的程序結合圖型限制的隨機性,這種成品完全具備重複使用的能力。
此外,測試意圖的視覺代表性,以及方便套用限制的能力,讓使用者能建構方向性明確的流程。這種獨特且具控制性的方法在驗證過程中可建立各項測試,而這在以往通常都是完全以人工作業來進行。
這裡的執行程式碼也必須針對晶片驗證的相關規範重新撰寫。驗證平台的基本驅動程式用來控制匯流排上的不同主控器,像是這類應用經常用到的DMA以及記憶體控制器。產生的C程式碼也需要進行整合,並採用評估平台接受的格式。通常這方面的流程包括重複使用表頭(header),擷取預寫驗證碼的檔案,然後重複套用到產生的整合程式碼。程式碼之後進行編譯,並和目標除錯器一起執行,藉以確保在這個層級進行妥善的測試。
PSS工具通常能夠分析後處理應用得到的結果。結果數據的視覺分析除了反映測試通過或失敗的狀況,還能將產生結果的程式碼區段一同顯示出來。這在驗證程序方面特別有用,因為傳統除錯功能在這方面的能力相當有限。
雖然我們還在後晶片應用針對流量產生器模型重複使用C測試流程,但我們有信心可能運用C語言測試法套用在任何評估平台上。事實上,將SoC型PSS模型重複套用在後晶片評估板,這種模型已證實可用在其他處理器類型的應用。這類應用的可重複利用性,係可攜式刺激源方法的獨有特性。
總結
PSS類型的通用流量產生器支援可重複使用的測試方案,透過SystemC執行效能分析測試互連匯流排,藉以執行驗證與確認。其中每項流程都需要進行整合以及基礎架構的開發。不過,這些一次性流程有機會在後續應用中重複使用。除了可重複使用外,PSS類型的方法在特定隨機性、測試意圖的視覺代表性、以及初期覆蓋範圍分析等方面提供許多優勢,使其價值進一步增加。能夠建構通用型應用的彈性,讓廠商有機會開發隨插即用型解決方案,進一步加速驗證與確認的流程。
(本文作者Gaurav Bhatnagar、Courtney Fricano為ADI主任工程師)
參考電路
[1]Ajamian, Tom. “AMBA Interconnect Design Flow Automation.” Synopsys, Inc., 2015.
[2]Bhatnagar, Gaurav and David Brownell. “Portable Stimulus vs. Formal vs. UVM: A Comparative Analysis of Verification Methodologies Throughout the Life of an IP Block.” DVCon, 2018.
[3]Portable Stimulus Working Group. Accellera Systems Initiative, 2019.
[4]TrekUVM?: Eliminating UVM Overhead. Breker Verification Systems, 2019.
[5]UVM (Standard Universal Verification Methodology). Accellera Systems Initiative, 2019.