【113年 應用案例】 基於人工智慧的PCBA表面瑕疵檢測改善

隨著AOI+AI系統的導入,我們將能提高產品良率、降低成本,從業務面來看,更可提高客戶的信任度,增加營業收益。而且AI具有難以被模仿的優勢,並非如其它設備只要花錢就買的到,讓我們的競爭對手難以追上我們。
組弘發展現況
我們致力於IOT智慧製造上,自行開發的系統已有智慧物料系統、環境溫溼度監控系統、防錯料系統、智能採購算料系統、智慧物料盤點系統、錫膏管理系統、生管系統。過去我們曾詢問過其他廠商,有關AI檢驗PCBA表面瑕疵的可能性,每個廠商都希望我們能夠購買其設備,但實際驗證後都無法達到效果,此次與資服業者討論過後,定調為AOI+AI的運作模式,方覺得有可行性。
組弘科技投入AOI+AI檢測計畫,用於檢查SMT零件上的文字、焊點、極性、缺件….等,用AI替代人工來學習AOI檢測後定義為”可能是不良品”的部份,提升人員產值與降低誤判率。
產業痛點
台灣缺工情形嚴重,尤其願意從事目視檢查的人更少,而且年齡相對較大,檢查遺漏的狀況越來越嚴重。所以在追求高品質電子產業中,最關鍵的瓶頸已經是生產後的檢查。過去的消費性產品,異常未能被檢出,只要在一定比例下,也可被接受。現在的汽車產業如果有不良未被檢出,即有可能造成人員死亡,所以汽車產業對於品質的要求極高。要想在汽車產業的供應鏈中生存,就必須解決異常無法被檢出的問題。
而且隨著台灣工資越來越高,只能設法以AI技術,取代傳統人力,否則就算解決了異常流出,但相對高的人力成本依然無法在此產業中競爭。
應用技術與說明
原本過程(圖一),PCB從出來Reflow後,會經過AOI檢測,分出「疑似不良品」與良品,這時「疑似不良品」的部分約為20%,再由人工針對這20%的部分來做複判,再將「疑似不良品」的部分區分為良品與不良品。
我們想要藉由AI的技術,將原本由人工複判這20%的「疑似不良品」改由AI來做,複判出來一樣會有良品與「疑似不良品」,結果一樣會有「良品」與「疑似不良品」的產生,但此時「疑似不良品」約只剩下3%,也就是說組弘作業人員的工作量會從20%降到只有3%。理論上是AOI檢查完後,再由AI來做複判,但從表面看起來似乎只有經過AOI而已,所以我們才將這個技術稱之為A0I+AI檢測(圖二)。

操作員將待測PCB板放入AOI檢測設備,輸出AOI
檢測不良品資訊,再經由人工逐一覆判是否為不良品。

操作員將待測PCB板放入AOI檢測設備,輸出AOI檢測不良品資訊後,
進由AI先進行AOI檢測不良品的覆判,輸出AI檢測不良資訊後,
再經由人工逐一覆判是否為不良品。
流程差異
藉由AOI+AI系統的導入,我們除了能夠提升目視檢查人員的效率與良率外,我們有了這次AI的導入經驗,以後也可將AI與大數據的運用加入到組弘原有的智慧製造系統,使我們的智慧製造系統的效能更提升,更進一步的減輕員工的工作壓力。

推廣策略
(1) 同領域擴散:所有SMT製造業皆會遇到檢查瓶頸導致延誤出貨的狀況,導入此系統可解決目前缺工嚴重問題並提升出貨速度與品質,自行向客戶推廣或透過設備商銷售給相關需求者。
(2) 異業擴散規劃:與AOI製造商洽談直接將AI系統掛在AOI系統內,增加其市場競爭力。
獲利策略
(1) 與AOI製造商合作收取授權金。
(2) 與SMT製造業直接銷售AI系統。
(3) 提供SMT製造業AOI+AI系統訂閱制
推薦案例

傳統物流公司加上AI技術之後,在運送效率提升及運輸成本下降等效益大大提升,尤其是醫材轉運更涉及醫院及病患的服務時效及權益,透過智慧物流的建置,可為醫材業者節省投入建構GDP倉、配多達千萬元之成本。 國內重要物流領導廠商-新竹物流HCT擁有3,500輛車隊、6萬坪倉儲,提供物流、商流、金流、資訊流、流通、倉儲、加工之客製化物流解決方案。每日貨件處理件數達58萬件,最大處理能力每日可達90萬件,轉運效能的提升對於新竹物流而言,至關重要。 醫院醫材運送 需優化現有作業流程與提升系統化、智慧化 尤其是醫院醫材的運送,也面臨到難題。醫材業者需要針對客戶不同產品需求、不同溫層需求、不同配送時效等因素,透過多家物流業者進行出貨與物流作業,高度依賴作業人員的經驗與細心管制,無論是產品出貨過程與實際物流配送過程,需要環環相扣,若有任何人工失誤與錯誤,都會影響醫院與病患的服務時效與權益,因此各家業者與政府及醫院等,都致力於優化現有作業流程與提升系統化、自動化與智慧化程度,以有效降低服務過程中造成的失誤及成本損失。 新竹物流導入AI之前的配送流程。 現行在醫院需求端已有相關業者配合政府推動相關標準化平台作業,透過供應端業者的資料協同作業,改善產品出貨正確性與作業時效,提升需求端的作業品質與管理效益;同時,部分業者也投入企業內部作業流程標準化與系統化,提升業者營運效能與品質。 在貨運物流端方面,物流業者的倉庫出貨人員需要耗費人工進行管控不同的物流出貨作業安排,若因常常接到緊急任務通知,要出貨到醫療院所,往往需要依賴小型區域性物流業者來提供客製化配送服務,除配送時效提升外,並無法導入整合性的資訊化服務。 新上路的GDP醫材法規規範運銷品質,也就是醫材供應商必須進行GDP合規認證,必須導入符合GDP法令規範之倉儲與物流服務業者,如此一來,區域性小型公司將被淘汰,因此,新竹物流透過經濟部工業局的AI輔導計畫案協助,除延伸既有GDP符合法令的倉儲物流服務外,將進一步利用相關數據整合與最佳化AI技術,協助醫材業者簡化改善物流配送最佳化作業。 複雜的物流難題 運用Simulated AnnealingSA演算法求解 為能滿足新的「醫療器材優良運銷準則」中對於醫療器材優良運銷系統建構的要求,新竹物流除了積極導入新式物流車,更將導入人工智慧中數學最佳化技術,以協助公司在每日全國營業據點以及轉運站進行智慧班次排程規劃,期望以最佳化的車班進行醫材在營業據點間的對開,或是區域間的轉運,以提高醫材在運銷過程中的效率。 目前醫材在新竹物流的轉運過程中,使用可分離式拖車頭與貨櫃。每個營業所及轉運站由於區位與幾何設計不同,以及人員數量不同,單位時間內的吞吐量也有差異;再加上每天的貨況大小、目的地皆不相同,面對無法確定且需求不同的變化,拖車頭及貨櫃的派遣狀況便隨之改變。 在此情況下,新竹物流僅能根據以往的經驗來進行各個衛星所之發車班表,並根據此班表視每日不同變化之貨物需求量進行調整。 因為是根據經驗法則進行排班,所以,班表往往不能兼顧全盤的變化與考量,使得目前發車班表仍然存在著可以改善的空間。。 貨物遞送規劃本質上為一NP-Hard難題,因此難以用傳統的解析解法,新竹物流結合奇點無限公司採用Simulated AnnealingSA演算法進行求解。 新竹物流導入的新物流服務為「GDP櫃班次規劃」。所謂的班次規劃,指的是根據未來對於站所間醫材貨件的預估量,進行站所間貨櫃車班的班表規劃,目的是讓醫材能夠如期如質抵達,並且讓新竹物流在場站作業、車輛數、行駛里程得到最高的效益。 新竹物流導入AI最佳化班次規劃,從其起點至終點間建構出一條最有效率的運送路線。 新竹物流導入「最佳化班次規劃」服務 降低5運輸成本 導入方式是利用雲端軟體服務,由新竹物流定期輸入站所間醫材貨件之「交互件數表」至「最佳化班次規劃」服務後,設定好演算參數即可產生GDP櫃班次表。同時發展新竹物流醫材班表系統,使新竹物流醫材運務單位能透過交互件數表編制適合班表。在相同服務水準的前提下,預估可降低運輸成本5,為醫材業者節省下建構GDP倉儲、配輸成本達千萬元。 醫材由於其對於衛生、溫度的要求,以及其易碎性等特色,因此運輸與轉運的時間越少越好,越少時間暴露在外,則醫材配曝險程度越低,然而由於仍須考量物流效率與成本。AI將每個需要運送的貨物,從其起點至終點間建構出一條最有效率的路線,即可有效率地完成每日的運務作業。 因應未來產業物流高度發展需求,其中配送與轉運AI最佳化將是關鍵議題,透過本計畫將成立專案推動組織,配置AI技術、IT與流程領域人才,累積落地經驗後,逐步擴大AI實際應用場域,全面優化轉型新竹物流的營運體系,並結盟AIOT與各領域AI夥伴加速與擴大效益之達成。

「喜鵲生活的DNA不會只有販賣機,我們相信販賣機結合科技、通路、人文,才能帶來令我們歡欣鼓舞的成果。」這是喜鵲生活官網上的一句話,讓販賣機帶來愉悅的生活,建構貼心、科技、永續的智能機產業未來,也是喜鵲生活創立的初衷。 成立於2018年的喜鵲生活,在成立4個月之後,即推出臺灣第一台自有品牌結合行動支付掃碼感應、藉由螢幕觸碰完成消費體驗、POS系統管理、數據聚集於後台的喜鵲U1智販機,讓消費者能同步世界的新零售腳步,體驗購買便利性、結帳安全性、視覺娛樂性、提升物流補貨效率的全新零售消費體驗。 傳統販賣機缺乏資訊可見度 AI技術協助資訊透明化 此次,喜鵲智能販賣機更搭載AI技術,提供可調整貨架空間、搭配工業電腦與大尺寸觸控顯示螢幕之自動販賣機,達成無店面商店之目的。 喜鵲生活表示,傳統販賣機最大問題即是缺乏資訊可見度。想要檢查庫存,就必須由補貨人員實際檢查每一部機器,這種做法既費時,成本也高。而當機器故障時,一般更是會長時間無法運作。大多數故障均無人通報,直到下次補貨人員抵達補貨才會發現。接著還必須等待維修技師排行程,而一等就可能需要數週的時間。 傳統販賣機缺乏即時互動性,當消費者投幣後遇到狀況時廠商無法當下處理。此外,傳統販賣機更缺乏彈性,無法應消費者偏好變化而調適。 傳統販賣機存在僅限零錢購物、支付工具單一;商品擺放數量有限,選擇性少等缺點。 受到COVID-19疫情影響,消費習慣轉為非接觸式的方式,致使無人化商店市場升溫。一般自動販賣機僅能擺放較單純的商品如飲料、食品等等。可販售的產業有限。而喜鵲開發出的專利販賣機可調整貨架空間,搭配升降貨梯,適用在各種類型的商品。此外,機台搭配工業電腦與大尺寸觸控顯示螢幕,能同時達到廣告託播的需求,預計朝無店面商店的方向邁進。 根據喜鵲生活觀察發現,近兩年來的消費者市場趨勢,消費者訴求便利生活、飲食消費型態重視餐飲體驗簡單快速,並且搭配手機連網訂購模式,而且熱飲及鮮食外送是兩大趨勢重點。而設置地點、販售品項、食用方式及多元付款方式是智能販售機的市場成長重點。 就便利性而言,臺灣消費者購買自動販賣機食品仍以車站、機場、學校、商業區公司附近為最高,多樣的付款方式也更獲得消費者支持,顯示未來自動販賣機可朝品項多元和支付方式多元兩大方向展開。 AI銷售預測技術整合後台管理 達到精準行銷目的 由於商品種類繁多,難以得知商品在不同因素如季節、市場情形、促銷活動等影響下的需求,容易造成缺貨或庫存過剩的狀況,喜鵲生活特別開發「AI銷售預測技術」,整合至後台管理系統,期能透過數據分析鎖定客戶購買偏好及意願,進而達到精準行銷之目的,進而做出精準的商業決策,有效分配有限資源。 導入AI系統可達精準行銷、庫存管理及供應鏈管理三大目標。 此一系統為專為供應鏈管理人員設計的調補貨決策輔助工具,透過 AI 預測未來銷量需求,協助企業有效優化產能、庫存及配貨策略。 其整體系統架構包括: 1資料探索性分析功能:針對資料內缺失值提供自動化補值、自動編碼及自動特徵篩選功能。 2建模功能 : 1提供迴歸Regression、時間序列Time Series Forecast共兩類預測問題類型之模型訓練功能。nbsp 2支援 Auto ML 自動建模,並由系統推薦提供最佳模型,亦可建立集成模型提升模型準度。nbsp 3支援多種演算法類型:Random Forest, XGBoost, GBM等演算法。nbsp 4支援多種時間序列模型:指數平滑、ARIMA、ARIMAX、間歇性需求、動態複迴歸等模型。nbsp 5支援多種模型評估指標:R, MAE, MSE, RMSE, Deviance, AUC, Lift top 1, Misclassification等指標。nbsp 6支援自動切割訓練資料集及Holdout驗證資料集,並可手動調整比例。nbsp 7支援自動模型集成學習 Stacked Ensemble、平衡函數學習 Balancing Classes、早停法 Early Stopping。nbsp 8支援同時建立多個模型,系統將依照建模需求配置資源,讓建模、預測等任務擁有獨立的運算資源且互不影響,在整體伺服器空間有上限的情況下,運算資源能有效率被利用。nbsp 9具有記憶體運算In-memory computing功能,可藉由大容量及高速的記憶體進行運算,避免大量從硬碟中讀寫檔案,提高運算效能。 3資料串接功能: 運用API嫁接,採用完整的資料串接自動化,不需要手動匯入資料,提高使用者體驗。 4圖表分析功能:針對商品銷量提供視覺畫圖表及基本統計值。 AI數據分析解決方案具備兩大優勢: 1創業機台租售 低成本開設無人實體店與連鎖零售業合作,透過智能機讓創業者以低於店面租金的成本經營零售生意。提供機台買賣及租賃兩種合作模式,依業者評估選擇。 2多型態商品上架 24小時隨時隨地販售商品,可上架達60多種多樣化商品,透明大櫥窗提升商品能見度,定期補貨及追蹤商品販售狀況,依需求調整產品類型。 近來網路與實體界線模糊化,顧客互動方式大幅改變,消費需求多變且個性化,零售業面臨前所未有的挑戰和不確定性,掌握數據成為關鍵。AI 數據分析解決方案能幫助零售業快速活化大量資料,打造無縫的個人化體驗,最佳化營運價值鏈並提升效率,強化企業核心競爭力。

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGV(Automated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。 2 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區:日月光L但碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。