:::

【113年 應用案例】 測試座接觸元件 AI 智能瑕疵檢測

在 5G、AIOT、汽車電子等下游發展迅速,全產業鏈有望受益於此消費市場。在產品需求動能逐漸增加的情況之下,提高生產效率與降低作業成本成為最重要的課題。為符合客戶各封裝產品類型的需求,穎崴科技一直致力於研發高度客製化測試座,但衍伸的作業痛點則是無法大批量與機台全自動化的作業,部分作業仍需依賴人工執行。 在本案 2021 年時測試座探針部分是委外製造,對現行與未來的大量需求下工時、成本、供給、品質是穎崴需面臨的課題。
 因探針的體積較小且材質屬於金屬類型,在現行人力目檢下需花上較多的時間調整焦距、亮度等以確保能看得清晰並判斷,而判斷標準會因人而異,容易因主觀意識或人員目檢疲勞產生誤判、作業疏失,導致不良品未檢出、流入客戶端手中,使客戶使用本公司的測試座產生誤判結果,導致客戶產品功能失效等問題,進而影響本公司的商譽。
本公司在接觸元件檢測良率為 99.95%,看似高良率,但以一個品檢人員平均一天能檢測 1 萬根針,不良品就有 5 根針,在僅 3 公分長寬的測試座上約有 1 千根針,只要有一根不良針可能導致客戶端測試不良。因現有作業模式為人力目檢,當外在因子若為人員疲勞,人員作業疏失,人員非量化判定即有可能造成不良品流出,因此接觸元件的品質必須嚴格把關。
 曾尋求以光學檢測(Rule-based)進行外觀品質控管,但接觸元件材質為金屬製,對光線會產生射散、背景雜訊干涉、背景刮痕、材質等因素可能造成誤判,因而找到在 AI 技術方面的資服業者來解決我們的檢測難處。

開發 AOI 專用線掃設備

 為了達成本公司 IC 測試座內動輒數千上萬支探針檢測需求,若以傳統面型取像與逐針取像,勢必因取像速度慢無法達到快速檢測以及節約人力的目標。針對此點,資服業者提出可試用 AOI 專用線掃模組方案,以 X 軸 6.3mm 為面寬,往復掃描測試座上的所有探針,經測試可一次掃描 8~9 支探針(如下圖),大幅提升未來 AOI 機台的檢測效率。
 本案將進行上述創新的概念驗證(POC),重點於線掃描設備的開發,針對本公司所提供的正常與異常探針進行取像、學習、訓練,先以逐針取像,訓練初步 AI 模型為驗證目標,以達初步認可。
本案客製化開發的線掃描取像模組
本案客製化開發的線掃描取像模組
未來理想取像結果示意圖
未來理想取像結果示意圖

以單一 AI 技術方案解決量/檢測需求

 統一以 AI DL CNN 學習方式,取代現行 Rule based 需逐一定義瑕疵,為滿足磨耗的量測需求與缺損/異物的外觀瑕疵檢測需求,如機台同時採用採量測/檢測兩套技術,除了成本增加外,亦影響檢測速度,則資服業者建議以線掃描設備取像,其解析度足以由 AI 同時判定外觀瑕疵及以大小圓點判斷針頂磨耗狀況,詳如下圖。

以線掃描像素方式,呈現針頂磨耗情形
以線掃描像素方式,呈現針頂磨耗情形

 依此 AI 檢測技術能符合穎崴的量測與檢測兩項需求,不僅在未來探針檢測上帶來更多的效益,也在 AI 技術方面帶來創新主軸。

改變人檢方式,提升工作效率與產品品質!

經以上述硬/軟雙劍合璧後(線掃描硬體/AI 軟體模式訓練),成功挑戰了 AOI 新興檢測應用,經本案 AI 落地 POC 驗證後,包含客製化線掃描模組及初步 AI 模型開發、驗證,計畫明年正式開發 AOI 機台,並導入 IC 測試座生產線。

未來展望

IC 測試座上游探針業者及下游 IC 廠使用者對 AOI 檢測機台均有需求,上游可確保探針出廠品質,下游使用者則可利用本機台定期檢測手中諸多 IC 測試座使用狀況,對未來需求勢必殷切,故本計畫 AOI 機台對 IC 測試產業於可見的未來必將造成極為正面的影響。

推薦案例

這是一張圖片。 This is a picture.
AI走入公益,食(實)物銀行也有時尚科技

社團法人台灣食物銀行聯合會以下簡稱本會以食物援助、貧困救濟、減少食物浪費、建構無飢網絡為組織宗旨,在台灣各地已有55個食物銀行據點,每日收集來自全台各地量販店、中盤商、零售商、製造商、甚至善心人士捐贈的愛心物資,也會搶救即將被丟棄的可食用物資,進行妥善調配並配送至需求的愛心戶手上,幫助在地弱勢邊緣戶。 但各據點皆需大量人力與志工以傳統聯繫方式處理食物銀行日常事務,聯絡非營利組織與捐贈機構,為據點收到物資捐贈後,再分配給有需要的家庭戶或個人。在物資管理上缺乏數位化與整合資訊,可能產生物資資源分配不均問題。 倉儲轉運中心與迷你食物銀行 分配弱勢物資 本次場域驗證單位社團法人高雄市慈善團體聯合總會食物銀行據點之一,以下簡稱高慈總 於109年6月24日正式啟用台灣首座「食物銀行-倉儲轉運中心」佔地200坪,提高食物物資再分配、運用之效益、妥善存放及食物物資管理,至今已搶救近二百噸蔬果續食,服務一百多個團體、逾5萬戶弱勢家庭受惠,持續服務19家迷你食物銀行,將於高雄多個行政區陸續落成,分配食物物資給超過10萬人次弱勢家庭。 高慈總「食物銀行-倉儲轉運中心」於高雄大社區 照片來源 社團法人高雄市慈善團體聯合總會 人力與食物物資管理的挑戰 面對大量經濟弱勢家庭的需求,「食物銀行-倉儲轉運中心」的管理顯得格外重要。進貨時需進行分類整理、汰廢、入帳等繁瑣的工作,出貨時則需參照社工員的食物物資需求做配置建議。這些工作都需要依靠人工判斷及經驗累積。而參與的志工多為高齡人士,體力有限,而倉儲工作需耗費大量體力,志工的招募困難重重。倘若有大批食物物資進庫,在調配上會耗費空間與人力整理、盤點,並同時擔憂食物物資是否能有效的被運用及周轉。也顯示出食物銀行服務逐漸擴大規模,但人力與物資管理系統無法隨之配合。 同時食物銀行物資來自各界之捐贈,故類別多樣且效期、規格、數量也均不相同。迷你食物銀行的志工夥伴,多數也為高齡人士,但卻需執行個案服務、食物物資管理配置、物資資源開發等多重職責,有時也需向物資領用者說明並接受即期、大量特殊性的物資,如成人接受嬰兒奶粉。 「食物銀行-倉儲轉運中心」物資盤點需要皆仰賴人力 迷你食物銀行志工具多重職責 照片來源社團法人台灣食物銀行聯合會 報廢物資減少60 物資轉遞速度增加80 為精進物資管理並達到物資有效利用,並解決人力短缺等問題,在本次場域實證案導入「食物銀行倉儲物資募集AI自動預警需求判讀系統」,第一部分為建構分類模型之前置作業,建置以及蒐集場域倉儲資訊,進行AI建模訓練,將過往場域倉儲資訊收集建置成資料庫,使AI可進行預處理、分類等工作。同時視其物資種類之相依狀況作為特徵值,導入演算法中進行運算建模,再依收集之資料進行重新訓練,最終進行場域驗證並針對經常性五大類物資進行數據整理,以建立數據資料所需之訓練及測試資料集,第二部分以演算法之RNN技術建構分類模型;進一步利用強化學習建構食物銀行倉儲管理機制,使分類完善之受贈物資如白米、沖泡飲品、麵條、泡麵、罐頭等可以根據儲位指派原則自動指派儲位。 AI服務系統服務流程與說明 資料來源社團法人台灣食物銀行聯合會 在AI預判下,可優化物資轉遞速度及物資調配,有效精準配對物資捐贈並降低捐贈歷程的損耗,增加物資分配正確性,提高媒合服務率即捐贈成功率,降低錯誤物資造成人力物力浪費,即時監控食物物資的庫存,確保操作者能夠迅速回應需求,有效提供物資援助。 以AI系統的導入,加上數據智慧化建置,協助倉儲轉運中心的運作,可爭取更多時間分配捐贈物資使用。導入加速社福團體數位化服務推展,完善照顧整體社會弱勢群組之需求。 使用系統進行物資分配調度 照片來源 社團法人高雄市慈善團體聯合總會 透過本次的場域驗證後,未來可推廣至食物銀行其他服務據點導入AI系統,也可與更多非營利組織、公益團體、慈善團體等夥伴合作,擴大「食物銀行倉儲物資募集AI自動預警需求判讀系統」應用範圍如醫療用品配送,幫助更多組織更智慧化地管理和分發,減少物資的浪費,以提高社會福祉。

【導入案例】赫銳特科技VCSEL封裝元件瑕疵導入AOI檢測 提升產能效率20
赫銳特科技VCSEL封裝元件瑕疵導入AOI檢測 提升產能效率20%

2017年,iPhone X的亮相讓提供 Face ID人臉解鎖的3D感測技術成為大熱門,也帶動了3D感測模組中的核心零元件VCSEL的發展。而VCSEL封裝元件入料瑕疵檢測,若透過AI推論模型可解決良率偏低產業難題,提升可靠度達95。 VCSEL技術現階段可被運用於諸多用途和各類終端消費市場,包括機器人、移動設備、監控、無人機,以及ARVR等。VCSEL在需求高速調製功能的應用(例如照相機和生物計量)中堪稱為不錯的解決方案。 VCSEL技術應用層面廣,也可應用於無人機。圖為佐翼科技農用無人機 VCSEL技術應用層面廣 AI技術助攻瑕疵檢測 赫銳特科技表示,VCSEL封裝元件市場也面臨到商業對手強力的削價競爭,需要進一步降低成本提升、產品競爭力,其中一個關鍵的難題就是將玻璃透鏡更換為環氧樹脂型透鏡。傳統玻璃透鏡的生產良率高,但成本較環氧樹脂透鏡高,因環氧樹脂經切割製程,側壁切割道上容易會有毛邊,造成尺寸過大,容易在打件時因為受熱而產生的應力釋放,將會直接導致光學透鏡破裂。 赫銳特科技指出,VCSEL環氧樹脂透鏡的入料檢測十分重要,在封裝空間的限制下,封裝與光學透鏡貼合的空間有限,且此光學透鏡會被侷限於一金屬框架內,若是沒有控管好尺寸公差,很容易在打件時因為受熱而產生的應力釋放會直接導致光學透鏡破裂,造成VCSEL封裝可靠度驗證良率損失最高達到10,造成生產成本增加。 為解決上述問題,赫銳特科技希望在VCSEL環氧樹脂透鏡的入料階段,可以藉由AI影像監控環氧樹脂元件的尺寸及外觀瑕疵,確認其尺寸是否合乎規格、切割邊緣是否平整、外觀是否瑕疵等。由於傳統的入料檢測,經通過大略的人眼目檢分辨好壞,為順利收集影像數據,首先需要解決影像蒐集的問題。 因此,赫銳特科技首先建立自動光學檢測裝置Automated Optical Inspection,AOI,自動光學檢測裝置包含X、Y、Z三軸動及高解析相機,及相關控制軟體自動記錄影像。蒐集完成後的影像資料,經opencv將測試影像Test與一標準正常影像Normal,進行影像對位後取出Test與Normal影像的差異部分,並可經由Pixel Mapping計算影像的像素面積進行比較完成初步篩檢。 承上之影像分類,進行手動標籤標示包含:正常、外觀瑕疵或形狀特徵差異之樣品,後進行演算法訓練與驗證,使用深度殘差網絡Residual neural network ResNet或其他相關演算法進行深度學習,以辨識出透鏡的優劣情形。 導入AOI檢測 提升產能效率達20以上 比較導入AI影像檢測的前後差異,導入前的VCSEL入料透鏡檢測,僅透過簡易的人工外觀檢測,將透鏡封裝在已固晶的VCSEL封裝體上,通過一般點亮檢測後,最後進行可靠度測試高溫回焊,失效樣品進再入重工流程。 但在導入AOI檢測之後,可提前將有問題的透鏡篩選出來,除了可以降低後續物料投入的成本,亦可減少失效情形降低重工的需要,因而提升可靠度驗證良率達95以上,預期可協助場域業者降低生產成本達10,提高產能效率達20以上。 導入AI影像檢測的前後之差異 赫銳特科技指出,這項技術是基於微小影像開發的AI應用技術,透過深度學習演算法辨識影像瑕疵,用來辨識瑕疵影像。而訓練後的網路來自動分類對應於預定類別的影像數據。透過參考影像就能辨識缺陷類別,因此不再需要繁瑣的編程。 而在工業機器視覺環境中,深度學習主要用於應用中的分類任務,例如在工業產品的檢驗或零件的辨識,未來隨著IOT穿戴裝置的發展,符合節能省電的潮流議題,光電元件尺寸將不斷的縮小,本技術未來也可應用在其他微小光電元件的外觀瑕疵檢測。

這是一張圖片。 This is a picture.
CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGV(Automated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。 2 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區:日月光L但碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。