分享通過深度學習AI應用提高放射科醫生的工作表現和工作流程。
Ashwini Kshirsagar博士，Hologic公司臨床解決方案、研發首席科學家。布拉德·凱勒博士，Hologic公司臨床和科學事務部乳腺健康總監。
安德魯·史密斯博士，Hologic影像研究乳房健康副總裁。公司。
簡介
作為首家商業化乳腺合成技術的供應商，Hologic一直處於提高乳腺癌早期檢測的前沿。由於能夠同時提高癌症檢出率和減少錯誤召回，乳腺合成技術正在取代傳統的二維乳房x光檢查，成為許多地區的一種標準護理方法。1,2盡管由於射線合成技術的使用，癌症檢測的總體水平有所提高，但個體放射科醫生的表現仍然存在很大的差異3，即使使用最先進的成像技術，癌症也可能被遺漏此外，複查斷層合成檢查需要瀏覽數百張圖像，而二維乳房x光檢查的標準視圖隻有4個，這增加了放射科醫生疲勞的可能性。
采用合成技術為進一步改進癌症檢測和提高工作流程效率提供了機會。最近一項提高效率的創新是3DQuorumTM技術，該技術使用人工智能(AI)創建smartslice，減少了需要查看的圖像數量。
另一項新興技術是深度學習(DL)的應用，用於識別斷層合成堆棧中的潛在異常，並為放射科醫生突出這些區域。隨著計算機技術處理速度的提高，利用前沿的AI技術(如深度學習)來分析通過合成生成的大量圖像數據已經成為可能。Hologic的Genius AI Detection產品平台將提供一係列基於先進AI技術的決策支持工具。
這篇白皮書討論了Hologic公司基於深度學習的腫瘤檢測軟件Genius AI detection，該軟件精確識別包含惡性腫瘤特征的感興趣區域(ROI)，與傳統的計算機輔助檢測(CAD)算法相比，其特異性大大提高。12,13這項新技術有助於放射科醫生的診斷性能和提高閱讀效率。本文還介紹了支持使用Genius AI Detection對患者進行分類的工作流增強。
關鍵的外賣
深度學習人工智能是由計算能力的進步推動的下一代人工智能。
Genius AI Detection是一種深度學習算法，用於從斷層合成圖像中檢測乳腺癌。
該研究顯示，使用Genius AI Detection軟件觀察到的讀者對癌症病例的敏感性有+9%的差異
基於人工智能輸出的工具有助於審查和確定案例優先級。
人工智能在乳腺癌成像中的應用
人工智能已經被計算機科學家探索了幾十年。人工智能是一個廣泛的術語，用來描述機器或計算機可以模仿人類認知功能的現象。機器學習(ML)技術是人工智能的一個子集，它使用統計模型，可以使用已知的數據樣本進行訓練，以執行手頭的任務，如從圖像中檢測指定的對象。Hologic在機器學習方麵有著悠久的專業曆史，可以追溯到1998年，當時Hologic的第一個基於ML的CAD產品ImageChecker®CAD通過了FDA的批準，該產品可以從乳房x線攝影圖像中檢測癌症。
從那時起，Hologic一直處於開發計算機輔助決策支持工具的前沿
使用ML技術。Hologic的產品如QuantraTM乳房密度評估軟件、3DQuorum技術、C-ViewTM和Intelligent 2DTM合成圖像均采用ML技術。在開發這些主要利用傳統機器學習技術的基於ml的產品的同時，Hologic一直致力於構建應用DL的前沿技術的能力，這種技術最近徹底改變了機器學習領域。
深度學習是機器學習的一個子集，它利用圖形處理單元(gpu)提供的巨大計算能力來訓練非常複雜的統計模型，這些模型包含數百層參數，因此被稱為“深度”。雖然眾所周知，與層數較少的模型相比，較深層的模型可以提供更好的性能5，但訓練它們所需的數據量比傳統或“淺層”模型要高一個數量級。Hologic利用其龐大的斷層合成係統安裝基礎，為開發在斷層合成圖像中檢測癌症的模型收集必要的訓練數據。
人工智能方法
為了了解在乳腺癌治療中最常用的人工智能方法，我們可以將這些方法分為兩組，“經典”機器學習和“深度”機器學習。
經典的機器學習
最初的計算機輔助設計算法可以解釋為“教”計算機檢測乳腺癌，就像人們可能向正在接受訓練的人描述乳腺癌的外觀一樣人工智能科學家對軟件進行編程，以檢測和量化可能是乳腺癌特征的圖像外觀或“特征”。
這些特征的設計需要了解癌變組織和正常組織是如何在圖像中出現的，因此這些特征被稱為“手工製作”特征。這些是與異常檢測相關的圖像某些屬性的數學量化。例如，邊緣不規則或光滑的區域，針狀，或有不同形狀或大小的亮點的區域都可能提示惡性腫瘤。
使用已知診斷特征的患者的圖像對這些特征進行量化，然後可以用來“訓練”一個神經網絡，該神經網絡計算出表明癌症可能性的值。神經網絡可以被認為是所有特征的代數組合，其中的代數組合公式是根據已知樣本的數據進行“調整”的。通過已知的例子來優化這個代數組合的過程被稱為“訓練”，由計算機算法自動完成。
圖1顯示了一個經典的機器學習神經網絡的例子。經過訓練，該網絡會產生一個輸出，對已知癌症的圖像給出高分，而對已知不含癌症的圖像給出低分。訓練包括拍攝大量包含已知癌症和已知正常組織的圖像，並對惡性腫瘤的概率進行評分。然後係統將調整權重，如圖中黃色、綠色和紅色所示，以提高準確性。這個調整過程可以重複多次，直到算法的精度達到盡可能高的程度。最終算法的性能將取決於1)所使用特征的選擇，2)訓練數據的可泛化性、質量和數量，3)神經網絡的適當架構的選擇。
這是乳腺癌CAD多年來所依賴的方法。
機器學習深
眾所周知，深度學習AI產生的性能大大優於經典的乳腺癌CAD7。與經典的機器學習不同，DL不使用“手工製作”的特征來“教”計算機如何通過描述和刻畫成像特征來檢測癌症。代替特征的是來自圖像的實際像素。與使用幾十個特征描述乳腺癌的經典方法相比，DL有更多的輸入，幾千個像素。除了增加輸入層，算法中還有更多的“隱藏”層。圖2顯示了一個DL神經網絡的示意圖。訓練過程與經典的人工智能類似:向算法中輸入許多圖像，並迭代確定每層中每個節點的權重，以優化識別乳腺癌的輸出性能。係統可以被認為是在訓練自己去尋找什麼。
與經典人工智能相比，DL方法有一些顯著的區別。為了獲得最佳性能，該係統需要對更多的輸入圖像進行訓練，而輸入的數量已經從幾萬增加到幾千。因此，計算需求比經典的人工智能大了許多個數量級，直到最近計算機才有足夠的能力使這種方法成為可能。與使用經典方法的算法相比，合成的DL算法提供了相當優越的性能。
圖1所示。展示如何設計一個經典的人工智能神經網絡的例子。
圖2．一個深度學習神經網絡的例子。
天才的人工智能檢測
Genius AI Detection是一種深度學習，應用於從Hologic的3DimensionsTM和Selenia®Dimensions®係統獲得的乳腺斷層合成圖像。
該算法旨在通過搜索合成圖像集的每個切片來定位可能代表乳腺癌的病變。這些病變被標記在適當的切片上，使用經典2D CAD用戶所熟悉的標記。此外，標記可以疊加在合成的2D圖像和3DQuorum SmartSlices上。
將標記疊加在合成的2D圖像上有助於放射科醫生提供一個全景圖像，其中可疑區域被明確指出，並可以快速導航到最初識別標記的合成切片。
算法概述
Genius AI Detection軟件通過使用最先進的對象檢測和分類模型，在不同級別的分析中利用深度學習方法。在算法的各個模塊中采用了幾個成熟的基於深度學習的模型8,9,10，使用專有的訓練方法，並使用大量的臨床圖像數據進行訓練。有單獨的模塊專門用於檢測有興趣的區域，包括軟組織病變和那些含有鈣化簇。這些模塊分別使用深度學習技術進行訓練，以識別各自類型的病變。
圖3顯示了Genius AI Detection的高級方法論示意圖。每個標準的合成視圖都經曆一個“視圖級”處理，然後通過“案例級”處理處理來自所有四個標準視圖的組合結果。視圖級處理利用對象檢測模塊來識別可能的候選roi，然後由分類模塊進行處理。分類模塊進一步分析這些區域，並為每個確定的候選區域分配一個置信度。對排名的候選人應用閾值，以從繼續到案件級處理中消除置信水平最低的候選人。
案例級處理模塊從所有四個視圖分析候選結果，並為每個候選分配最終置信度值，並為整個案例分配總分。一個閾值應用於候選排序列表，以顯示給最終用戶作為潛在的癌症病變。每個病灶都有一個病灶評分，每個病例都有一個病例評分。病變評分和病例評分都在0到100之間，代表AI算法識別出病變或病例具有癌症特征的確定性。
訓練算法
深度學習算法在Hologic斷層合成圖像數據庫上進行訓練，臨床評價分布如圖4所示。被送往活檢的病例被分類為出現鈣化、腫塊或變形或兩者兼有的病變(圖5)。該算法經過訓練支持高分辨率斷層合成圖像(70微米，1毫米切片)和標準分辨率斷層合成圖像(~100微米，1毫米切片)。
圖3。Genius AI檢測算法的高層示意圖。
圖4。分布訓練案例用於訓練深度被學習算法。正常是指篩查時被判定為正常的病例，隨訪成像後被駁回的病例，活檢的病例是良性或惡性的。
圖5。送往活檢的病例的形態學特征分布。
天才AI檢測測試
讀者研究概述
根據上述案例對算法進行訓練後，Hologic進行了一項多讀者、多案例(MRMC)研究，以驗證在並發閱讀模式下使用Genius AI Detection算法時，放射科醫生在解釋3D+2D圖像集時的表現本研究中的3D圖像為高分辨率70微米1毫米厚度(Hologic Clarity HD圖像)，2D圖像為70微米合成2D圖像(Intelligent 2D圖像)。MRMC評估由17名讀者組成，在兩個至少相隔四周的會議上審查了390個病例。在第一個階段，每個讀者閱讀隨機組合的帶有和不帶有Genius AI Detection信息的案例，在第二個階段，每個讀者閱讀相反條件下的每個案例。
病例包括正常的乳房x光片、最初被招聘網站召回並在診斷檢查後撤銷的乳房x光片，以及繼續進行活檢的病例，包括良性和惡性;這些病例完全獨立於訓練數據，在本研究之前從未進行過評估。這些案例的分布如圖6所示。對於經活檢確定為腫瘤的病例，其腫瘤類型在外觀上的特征為腫塊病變、鈣化病變或兩者兼有，每種類型的百分比如圖7所示。
圖7。讀者研究評估中的癌症病例類型。讀者研究結果
讀者研究結果
讀者研究顯示，使用Genius AI Detection的臨床表現差異為+0.031，通過使用ROC曲線下的麵積(AUC)進行測量。*12沒有Genius AI Detection的所有17個閱讀器的平均AUC平均值為0.794，隨著使用增加到0.825
天才AI檢測。圖8顯示了研究中的平均讀者ROC曲線和Genius AI Detection在分析相同數據時的獨立性能。值得注意的是，Genius AI Detection在沒有AI的情況下閱讀時，表現與普通放射科醫生在讀者研究中的表現大致相似。
Genius AI Detection技術的使用導致了在癌症病例中觀察到的閱讀器敏感性的+9%的差異。研究表明閱讀時間沒有減少
綜上所述，從AUC的改善來看，使用Genius的臨床準確性更高
人工智能檢測。
圖8。合並的ROC曲線顯示了在(綠色)和(紅色)天才AI檢測下解釋乳房x光檢查時讀者的平均表現。此外，在沒有人類閱讀的情況下，Genius AI Detection的獨立表現以黑色顯示。
天才AI檢測功能
Genius AI Detection通過算法生成幾種不同的輸出。它在圖像上標記疑似病變，與傳統CAD類似，盡管與Hologic的經典AI相比，通過減少假陽性標記來衡量性能有所提高。與Hologic的2D CAD相比，Genius AI Detection的假陽性標記率約為1/4。12,13該算法還提供了病例複雜性的指示，以及病例包含癌症的可能性。下麵描述的這些輸出可用於根據站點的需要和協議調整工作流。
天才AI檢測標誌
天才AI檢測標誌的設計是為了表明關注的領域。Genius AI檢測算法搜索與癌症通常相關的三種主要類型的特征:(a) Calc標記:指示鈣化簇，(b)腫塊標記:指示軟組織病變，包括腫塊、密度和結構扭曲，(c) Malc標記:指示與鈣化簇相關的軟組織病變。圖9、10和11顯示了Genius AI算法標記的鈣化和軟組織病變的例子。在每個例子中，圖像(a)顯示了沒有標記的區域(b)顯示了“PeerView”標記，勾畫出了軟組織病變的鈣化或中心密度，(c)顯示了“萊頓”標記，一個標記顯示了感興趣區域的質心。注意，在下一節中描述的病變評分顯示在標記的上方。
算法輸出
病變評分
深度學習網絡為每個檢測到的病變分配一個相對分數，稱為病變評分，這表示確定的可疑病變是惡性的置信度。病變評分在使用連續收集的經活檢證實的惡性病變的數據集的過程中被歸一化。這些病變的病變評分按升序排列。查找表將每個病變評分映射到數據集中評分較低的病變的百分比。病變評分代表一個置信度估計，並分配給算法識別的每個疑似病變。病灶評分為80%，表示深度學習網絡對該病灶的相對評分高於代表性惡性病灶的80%，因此非常懷疑為惡性。病變評分顯示為病變標記旁邊的覆蓋層。
圖9。鈣化病變例。圖(a)顯示無標記，圖(b)顯示PeerView標記
勾畫出鈣化，圖像(c)顯示萊頓標記確定病變的質心。
圖10。軟組織腫塊病變例。圖(a)顯示無標記，圖(b)顯示PeerView標記勾畫中心密度，圖(c)顯示萊頓標記確定病變質心。
圖11。包括軟組織和鈣化的malc病變的例子。圖像(a)顯示無標記，圖像(b)顯示PeerView標記概述腫塊和鈣化，圖像(c)顯示萊頓標記確定病變的質心。
案例分
深度學習網絡通過使用在標準篩查視圖中檢測到的單個病變的信息來分配病例評分。病例評分表明病例有癌變病變的可信度。與病變評分相似，病例評分值由一個查找表分配，該查找表由一組連續收集的惡性病例派生而來。病例評分為80%的檢查意味著與確認有惡性病變的其他檢查相比，該檢查排名在第80百分位內。病例評分通常在圖像複查時以覆蓋的形式顯示，也可以在患者列表中顯示。
閱讀優先指示器
閱讀優先級指標由案例評分衍生而來，目的是標記具有較大關注程度的案例的百分比。讀取優先級指標可以在尺寸采集上查看
檢查完成後的工作站，用於確定可能從放射科醫生立即複查中受益的病例，即使患者仍在設施中。這可以促進在同一次就診中進行任何後續成像，並可能消除需要召回患者進行額外成像的需求。閱讀優先級指示器是可配置的，根據站點的偏好允許較低或較高的靈敏度。
例複雜性指數
案件複雜性指數將案件分類為“無發現”、“單一發現”或“多重發現”。算法識別出的結果的數量可以作為案例複雜性的一個指標。通過計算Genius AI Detection標記的感興趣區域的數量，可以根據閱讀它們的潛在難度對案例進行分類。根據複雜性對案例進行排序的能力可用於為不同的讀者生成定製的工作列表。
閱讀時間指標
關於所有roi的底層信息包含豐富的信息，這些信息可以預測案例是否可以相對快速地讀取，或者是否需要比平均時間更長的時間讀取。即使隻有最可疑的病變被標記為算法的最終輸出，該算法也能識別和分析更多的roi。該模型可以預測給定病例在“高”、“中”和“低”三個類別中的閱讀時間，並可用於根據相對閱讀時間對病例進行排序和選擇，例如，將病例分配到一個放射科醫生團隊中，以提供更均衡的工作負載。
圖像兼容性和DICOM
Genius AI Detection可用於標準分辨率斷層合成和高分辨率斷層合成(Hologic Clarity HD)圖像。它也兼容3DQuorum SmartSlice輸出。輸出封裝在DICOM CAD結構化報告(SR)對象中，審閱工作站可以讀取該對象。DICOM CAD SR包含了算法生成的標記的詳細信息以及各種案例級別的索引。對於每個標記，標記的質心坐標和輪廓的細節以及相應的病變評分被合並到複查工作站以疊加顯示。案例評分、讀取優先級指標、案例複雜性指標和讀取時間指標也存儲在DICOM SR中，以便工作站可以讀取這些指標，以促進基於值的工作列表，如上所述。
工作站的功能
Genius AI檢測標記和相關數據的顯示支持取決於在特定工作站產品上的實現。通常，工作站支持的工具允許放射科醫生快速導航到斷層合成圖像中標記潛在病變的切片。圖12顯示了一個來自Hologic工作站的例子。在這個圖像中，合成的2D圖像顯示在左邊，相應的合成圖像顯示在右邊。標記表明潛在的病變顯示在兩個。當用戶點擊合成2D圖像中的標記時，軟件自動顯示在右側視口檢測到潛在病變的合成切片。
圖12。在Hologic工作站上顯示Genius AI檢測標記和數據。
結論
一種采用深度學習算法Genius AI Detection的軟件解決方案在Hologic斷層合成圖像上進行了開發和訓練。它在多讀者、多案例研究中進行了測試，該研究測量了它在乳腺癌的檢測和表征方麵的性能，當用於並行操作模式時。放射科醫生在觀察到的閱讀器對癌症病例的敏感性上顯示了+9%的差異
由Genius AI Detection算法產生的閱讀優先級指標、病例複雜性指數和閱讀時間指標輸出為乳房x光檢查中心提供了調整工作流程和更有效篩選患者的機會。標記為高閱讀優先級的病例可以優先進行立即閱讀，甚至在患者離開診所之前。如果有必要，這將促進額外的成像，更快地解決任何問題，並減少患者因回診而產生的焦慮。病例複雜性和閱讀時間指標可用於管理工作流程，將病例分配給特定的閱讀會議或特定的放射科醫生。
術語表
引用:
李文華，李文華，李文華，等。利用斷層合成技術結合數字乳房x線照相術進行乳腺癌篩查。中華醫學會雜誌，2014年6月25日;311(24):2499-507。
McDonald ES, Oustimov A, Weinstein SP, Synnestvedt MB, Schnall M, Conant EF。數字乳房x線合成與數字乳房x線攝影的有效性比較:3年乳腺癌篩查的結果分析。JAMA雜誌2016;2(6):737 - 743。
Sprague BL, Coley RY, Kerlikowske K，等。使用數字乳房x線合成技術與數字乳房x線攝影技術進行乳腺癌篩查時放射科醫生表現的評估。2020年3月2日;3(3):e201759。doi: 10.1001 / jamanetworkopen.2020.1759。
朱克曼SP，麥克唐納ES，等。連續5年數字乳腺合成篩查:全年篩查結果。放射學。2020年3月10日191751。doi: 10.1148 / radiol.2020191751。
何開明，張翔宇，任少卿，孫健。基於深度殘差學習的圖像識別https:// icml。cc / 2016 /教程/ icml2016_tutorial_deep_residual_ networks_kaiminghe.pdf;CVPR 2016。
Wu Y, Giger ML, Doi K, Vyborny CJ, Schmidt RA, Metz CE。乳房x光造影中的人工神經網絡:在乳腺癌診斷決策中的應用。放射學。1993年4月,187(1):81 - 7。
Krizhevsky A, Sutskever I, Hinton G.基於深度卷積神經網絡的ImageNet分類。神經信息處理係統的進展25(2)，2012年1月。
任、少卿、何、凱明、格希克、羅斯、孫、堅。更快的R-CNN:使用區域提議網絡實現實時目標檢測。模式分析與機器智能學報39(6)，2015年6月。
Ronneberger, Olaf & Fischer, Philipp & Brox, Thomas。(2015)。用於生物醫學圖像分割的卷積網絡。MICCAI 2015:第十八屆國際會議，慕尼黑，德國，2015年10月5-9日，論文集，第三部分(pp.234-241) 9351。234 - 241。
C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens和Z. Wojna。重新思考計算機視覺的初始架構。計算機視覺與模式識別(CVPR)會議，2016,pp. 2818-2826。
天才AI檢測用戶指南。修訂版001,Hologic, 2020。
FDA批準:K201019
dhm - 10095 _002 - 03682人。了解R2 ImageChecker CAD 10.0。圖像檢查程序PMA批準P970058
*基於不控製I型誤差的分析，因此不能推廣到本研究之外的具體比較。在本研究中:有CAD的平均觀察AUC為0.825 (95% CI: 0.783, 0.867)，無CAD的平均觀察AUC為0.794 (95% CI: 0.748, 0.840)。觀察到的AUC差異為+0.031 (95% CI: 0.012, 0.051)。平均觀察到的閱讀器對癌症病例的敏感性為75.9%有CAD, 66.8%沒有CAD。觀察到的敏感性差異為+9.0% (99% CI: 6.0%， 12.1%)。非癌症病例的平均觀察召回率為25.8%，無CAD為23.4%。觀察到的負回憶率差異為+2.4% (99% CI: 0.7%， 4.2%)。觀察到的病例平均讀取時間為52.0s，無CAD時為46.3s。觀察到的讀取時間差異為5.7s (95% CI: 4.9s到6.4s)。
