:::

【113年 應用案例】 基於人工智慧的PCBA表面瑕疵檢測改善

隨著AOI+AI系統的導入,我們將能提高產品良率、降低成本,從業務面來看,更可提高客戶的信任度,增加營業收益。而且AI具有難以被模仿的優勢,並非如其它設備只要花錢就買的到,讓我們的競爭對手難以追上我們。

組弘發展現況

我們致力於IOT智慧製造上,自行開發的系統已有智慧物料系統、環境溫溼度監控系統、防錯料系統、智能採購算料系統、智慧物料盤點系統、錫膏管理系統、生管系統。過去我們曾詢問過其他廠商,有關AI檢驗PCBA表面瑕疵的可能性,每個廠商都希望我們能夠購買其設備,但實際驗證後都無法達到效果,此次與資服業者討論過後,定調為AOI+AI的運作模式,方覺得有可行性。

組弘科技投入AOI+AI檢測計畫,用於檢查SMT零件上的文字、焊點、極性、缺件….等,用AI替代人工來學習AOI檢測後定義為”可能是不良品”的部份,提升人員產值與降低誤判率。

產業痛點

    台灣缺工情形嚴重,尤其願意從事目視檢查的人更少,而且年齡相對較大,檢查遺漏的狀況越來越嚴重。所以在追求高品質電子產業中,最關鍵的瓶頸已經是生產後的檢查。過去的消費性產品,異常未能被檢出,只要在一定比例下,也可被接受。現在的汽車產業如果有不良未被檢出,即有可能造成人員死亡,所以汽車產業對於品質的要求極高。要想在汽車產業的供應鏈中生存,就必須解決異常無法被檢出的問題。

    而且隨著台灣工資越來越高,只能設法以AI技術,取代傳統人力,否則就算解決了異常流出,但相對高的人力成本依然無法在此產業中競爭。

應用技術與說明

    原本過程(圖一)PCB從出來Reflow後,會經過AOI檢測,分出「疑似不良品」與良品,這時「疑似不良品」的部分約為20%,再由人工針對這20%的部分來做複判,再將「疑似不良品」的部分區分為良品與不良品。

    我們想要藉由AI的技術,將原本由人工複判這20%的「疑似不良品」改由AI來做,複判出來一樣會有良品與「疑似不良品」,結果一樣會有「良品」與「疑似不良品」的產生,但此時「疑似不良品」約只剩下3%,也就是說組弘作業人員的工作量會從20%降到只有3%。理論上是AOI檢查完後,再由AI來做複判,但從表面看起來似乎只有經過AOI而已,所以我們才將這個技術稱之為A0I+AI檢測(圖二)

本AOI檢測過程
原本AOI檢測過程

操作員將待測PCB板放入AOI檢測設備,輸出AOI

檢測不良品資訊,再經由人工逐一覆判是否為不良品。

AOI+AI檢測過程
AOI+AI檢測過程

操作員將待測PCB板放入AOI檢測設備,輸出AOI檢測不良品資訊後,

進由AI先進行AOI檢測不良品的覆判,輸出AI檢測不良資訊後,

再經由人工逐一覆判是否為不良品。

流程差異

    藉由AOI+AI系統的導入,我們除了能夠提升目視檢查人員的效率與良率外,我們有了這次AI的導入經驗,以後也可將AI與大數據的運用加入到組弘原有的智慧製造系統,使我們的智慧製造系統的效能更提升,更進一步的減輕員工的工作壓力。

導入前後差異說明
導入前後差異說明

推廣策略

(1)       同領域擴散:所有SMT製造業皆會遇到檢查瓶頸導致延誤出貨的狀況,導入此系統可解決目前缺工嚴重問題並提升出貨速度與品質,自行向客戶推廣或透過設備商銷售給相關需求者。

(2)       異業擴散規劃:與AOI製造商洽談直接將AI系統掛在AOI系統內,增加其市場競爭力。

 

獲利策略

(1)       AOI製造商合作收取授權金。

(2)       SMT製造業直接銷售AI系統。

(3)       提供SMT製造業AOI+AI系統訂閱制

推薦案例

這是一張圖片。 This is a picture.
CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGV(Automated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。 2 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區:日月光L但碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。

【導入案例】海量數位工程AOI機器智能手臂檢測系統 大幅提高瑕疵檢測精準度
海量數位工程AOI機器智能手臂檢測系統 大幅提高瑕疵檢測精準度

臺灣堪稱製造業大國,然而,在產線上,品質瑕疵檢測一直是製造業長期痛點,雖然有AOI設備可輔助,但大多採用固定式機器,受限於角度,診斷不夠精準,誤判率也高。海量數位工程公司導入AOI機器智能手臂檢測系統,可有效降低誤判率,提高瑕疵檢測精準度。 一般來說,產品的良率攸關企業的成本與客戶的退貨率,而製造產業品質瑕疵的檢測流程,往往需要編制大量的品質檢測人力。目前製造業檢測工具雖然有AOI設備來輔助進行,但這些設備多半採用固定式的檢測機器,固定式相機容易受限於角度,導致診斷不夠精準,誤判率太高等缺點,因此,人員在後端需要再次篩選檢驗,也就是複檢,通常人工目測檢視的瑕疵漏檢率平均在5上,甚至可高達20。 製造業品質檢測三大痛點 機器手臂AOI之動態多角度品檢協助解決 根據海量數位工程實際了解製造業在檢測產品品質有三大痛點: 痛點一、人力檢測產品品質出錯率高 目前製造業多以人力來檢測產品外觀,但人工判斷多半有誤差,例如:表面刮傷、色差、焊道外觀hellip等,瑕疵判斷出錯率高,且須待成品階段才能一次性檢驗,時常出貨前全檢後依然遭整批退件,導致重製及人力成本大增。 痛點二、品質檢測之數據無法量化與記錄 傳統人力檢測無法保留檢測數據,嗣後發生品質糾紛時,責任難以釐清。而海外品牌高階代工單往往要求溯源與相對應的缺點紀錄,傳統產業原有之人力檢測難以符合更高階代工單之要求。 痛點三、傳統AOI視覺檢測的限制 現有製造業常用的AOI視覺檢測系統,因為視覺軟體技術的限制,都是以固定相機、固定光源及單一角度的方式來進行,這種方式對於平面或形狀由直線組成之產品例如:長方體或正方體的單一檢測點尚可處理,但對於複雜形狀的產品例如:汽車零件多為不規則狀多點、多幅度的檢測,就較難實現。 海量數位工程研發AOI機器智能手臂檢測系統,有效提高瑕疵檢測精準度。 為解決製造業在品質檢測的痛點,海量數位工程決定從研發多角度、可移動式的檢測儀器開始發想,從結合工廠自動化領域中的兩大代表性技術-機器手臂與機器視覺著手。海量數位工程以機器手臂結合AOI之動態多角度AI視覺即時品質檢測方式,改善固定式檢測受限多角度的問題,視覺檢測技術的提升與結合人工智慧,進一步相機取得的影像資訊可由平面取樣提升至多角度、多維度取樣。 選定汽車產業做為實證場域 可快速回應顧客需求 AOI機器智能手臂檢測系統,所運用的AI技術包括無監督學習(unsupervised)、監督式學習Supervised learning、半監督式學習Semi-supervised Learing,使業者在初期樣本不齊全,或是沒有不良樣本的情況下也能使用無監督深度學習技術學習良品,並應用在汽車三角架自動焊接的視覺檢測上。可解決導入前受限於固定式機器的角度、診斷不夠精準、誤判率高的問題。 汽車零組件單價較高,會要求更嚴格的瑕疵檢測正確率。 在導入AI服務的產業中,選定汽車製造業作為實證場域。海量數位工程表示,汽車製造業主要為相關零組件製造商,而且通常元件單價較高,需更多品質檢測品質及良率,會要求更嚴格的正確率,因此選定汽車業做為導入的場域。 機器手臂結合AI之動態多角度AOI視覺即時品質檢測系統,除了可以改善汽車零組件檢測瑕疵品質失誤率外,因為以多角度的機器手臂AOI服務來提升定點式AOI光學檢測,可以符合多數產業之量測需求;最後是建立第三方系統平台,建置共同工作整合平台監測系統,以便在問題發生時,第一時間接收訊息並著手處理。 本系統可針對出廠產品之重要數據進行記錄儲存,為實現未來數位生產線與虛擬生產之基礎。同時於瑕疵發生時,可即時串接海量MES監控系統,迅速反應至相關製造決策部門,嗣後並利用ERP系統進行專案管理與檢討,有效精進其生產效率,降低生產成本。 有助降低溝通成本 期許成為行業標配 就產業上下游整合而言,可以為上下游之數據連貫提供一基礎之標準,降低供應鏈之溝通成本,經由指標代工廠與品牌商的認證,有機會成為該產業之行業標準配置。 透過此一計畫的產出數據資料庫建置,業者進一步透過大數據分析Data Analysis,優化供應鏈管理的解決方案「供應鏈規畫Supply Chain Planning, SCP」,依據數據,建立預測計畫,並運用科技串連供應鏈上下游的數據,精準控制產品品質。未來對接歐美、日,需要品質精細訂單,業者能更快速回應及整合產業供應鏈Supply Chain 。 最後期望透過標竿示範產業之場域驗證,例如:以汽車零組件製造產業標竿示範場域,透過機器手臂結合AI之動態多角度AOI視覺即時品質檢測系統計畫進行驗證,讓汽車代工廠與汽車原廠之間有更優化的供應鏈聯繫,並成為該行業標準。更進一步尋求更多的AI團隊,加入場域協作平台跨產業之開發,帶動整體AI新創與場域結合的生態系。 海量數位工程研發的自走車

這是一張圖片。 This is a picture.
AI輔助紅十字會 急難救助更智慧

多一點準備 少一點損失 社團法人台灣食物銀行聯合會,每日收集來自全台各地量販店、中盤商、零售商、製造商、甚至善心人士捐贈的愛心物資,也會搶救即將被丟棄的可食用物資,進行妥善調配並配送至需求的愛心戶手上,幫助在地弱勢邊緣戶。 當台灣發生天然災害時,如地震、山崩、土石流、颱風、水災、旱災等,食物銀行的各項物資,也可即刻投入救災。本次場域驗證單位社團法人南投縣紅十字會食物銀行據點之一,以下簡稱南投紅十字會承擔「備災」物資預前準備、「救災」物資分配等工作,協助政府擔負起災變的救助與賑濟的責任。 在臺灣各項天災均具有發生時間長短和空間覆蓋廣闊或狹隘的特性,加上極端氣候常態化,災害規模與數量逐漸增加,也更難預測。而不同災情所需的物資數量和種類皆有不同,且須應對不同災區人民生活、救援需要、交通狀況、地形限制等各項因素,進行多樣化的物資調配,亦面臨諸多挑戰。 卡努颱風重創南投山區交通 法治國小親愛村奧萬大進行物資遞送" src"httpsaihuborgtwimages35f4ec12f8201e1d7cb12e2f22a64c89jpeg" alt"南投縣紅十字會規劃山區路線 埔里法治國小親愛村奧萬大進行物資遞送" aria-label"南投縣紅十字會規劃山區路線 埔里法治國小親愛村奧萬大進行物資遞送" data-image-id"748" 南投縣紅十字會規劃山區路線 埔里法治國小親愛村奧萬大進行物資遞送 災難不斷反覆發生,我們需要時刻做好準備,有效「備災」可減緩災害所造成的衝擊,除了快速應對災區物資需求、賑濟物資,甚至可起到心理支持作用,使災區人民多一層生命財產的保障。 救災資訊缺乏即時性 社團法人台灣食物銀行聯合會為改善偏鄉生活及物資缺乏問題,除了與南投紅十字會合作,並陸續於南投市、埔里、仁愛力行、瑞岩、信義望美、同富、水里、鹿谷及草屯等共9站設立食物銀行據點,每月載運每戶等值新台幣6001000元之物資供應。但在天然災害發生時,仍有許多問題需要克服。 例如當颱風、地震、山崩等天災發生時,救災調度系統的資訊來源依賴於災害發生後的回報,從回報到應變再到執行過程中的時間差,無法及時以災區需求進行「救災」物資調整和分配,資訊缺乏即時性時,就會影響救援效率。 南投紅十字會的「備災」物資如乾糧、水、泡麵等存量、有效期限、發給都是以人力來紀錄,當災害發生時,可能面臨「備災」物資已過期,無法成為「救災」物資。 也有可能前述兩種狀況同時發生 造成花費更多時間把「備災」物資重新調配成可用「救災」物資。另一方面,民眾接到災區缺乏物資的訊息後,熱心捐贈的物資,時常與災區實際需求的物資品項差異甚大,容易造成物資過剩問題。 天災發生前後之物資作業流程 AI預判天災 補強備災物資調度正確性 應用 API 技術介接運算氣候狀態、災況搶救強度,並將南投紅十字會主要工作與搜救之需求地區為優先導入,並搭配南投紅十字會既有豪雨、颱風等模擬救災訓練,建立「天然災害緊急救備物資調度及補充決策系統」以下稱急救備物資系統。 在物資管理上,將物資庫存資料與即時供給的資料輸入急救備物資系統,進行比對分析後,協助南投紅十字會快速辨認物資,如餅乾乾糧、飲品、冷凍食品、衛生紙等,並判斷物資應成為「備災」物資或定期發放的物資。再加上資訊預判,了解偏鄉地區後續可能的災情狀況,進行食物遞送,同時解決前端食物浪費並解決後端實務需求。當天災發生時,可更快速進行應變與決策,完成物資部屬,使物資作業轉換速度增加20。 AI急救備物資系統 幫助物資調配快速應變 透過南投紅十字會的場域驗證將AI系統、物資管理、相關應用推廣至更多不同地區的急救難團體,同時持續改進急救備物資系統中的預警功能,加強預警技術基礎、提高預測精度系統即時性、優化數據收集和分析過程。 同時可與政府機構、氣象部門或其他救援團隊合作,研討整合更多數據源後,建立共享資源和數據的機制,及時共享信息,幫助更多急救難團體提高災難應變的能力,掌握黃金救援時間。