:::

【113年 應用案例】 測試座接觸元件 AI 智能瑕疵檢測

在 5G、AIOT、汽車電子等下游發展迅速,全產業鏈有望受益於此消費市場。在產品需求動能逐漸增加的情況之下,提高生產效率與降低作業成本成為最重要的課題。為符合客戶各封裝產品類型的需求,穎崴科技一直致力於研發高度客製化測試座,但衍伸的作業痛點則是無法大批量與機台全自動化的作業,部分作業仍需依賴人工執行。 在本案 2021 年時測試座探針部分是委外製造,對現行與未來的大量需求下工時、成本、供給、品質是穎崴需面臨的課題。
 因探針的體積較小且材質屬於金屬類型,在現行人力目檢下需花上較多的時間調整焦距、亮度等以確保能看得清晰並判斷,而判斷標準會因人而異,容易因主觀意識或人員目檢疲勞產生誤判、作業疏失,導致不良品未檢出、流入客戶端手中,使客戶使用本公司的測試座產生誤判結果,導致客戶產品功能失效等問題,進而影響本公司的商譽。
本公司在接觸元件檢測良率為 99.95%,看似高良率,但以一個品檢人員平均一天能檢測 1 萬根針,不良品就有 5 根針,在僅 3 公分長寬的測試座上約有 1 千根針,只要有一根不良針可能導致客戶端測試不良。因現有作業模式為人力目檢,當外在因子若為人員疲勞,人員作業疏失,人員非量化判定即有可能造成不良品流出,因此接觸元件的品質必須嚴格把關。
 曾尋求以光學檢測(Rule-based)進行外觀品質控管,但接觸元件材質為金屬製,對光線會產生射散、背景雜訊干涉、背景刮痕、材質等因素可能造成誤判,因而找到在 AI 技術方面的資服業者來解決我們的檢測難處。

開發 AOI 專用線掃設備

 為了達成本公司 IC 測試座內動輒數千上萬支探針檢測需求,若以傳統面型取像與逐針取像,勢必因取像速度慢無法達到快速檢測以及節約人力的目標。針對此點,資服業者提出可試用 AOI 專用線掃模組方案,以 X 軸 6.3mm 為面寬,往復掃描測試座上的所有探針,經測試可一次掃描 8~9 支探針(如下圖),大幅提升未來 AOI 機台的檢測效率。
 本案將進行上述創新的概念驗證(POC),重點於線掃描設備的開發,針對本公司所提供的正常與異常探針進行取像、學習、訓練,先以逐針取像,訓練初步 AI 模型為驗證目標,以達初步認可。
本案客製化開發的線掃描取像模組
本案客製化開發的線掃描取像模組
未來理想取像結果示意圖
未來理想取像結果示意圖

以單一 AI 技術方案解決量/檢測需求

 統一以 AI DL CNN 學習方式,取代現行 Rule based 需逐一定義瑕疵,為滿足磨耗的量測需求與缺損/異物的外觀瑕疵檢測需求,如機台同時採用採量測/檢測兩套技術,除了成本增加外,亦影響檢測速度,則資服業者建議以線掃描設備取像,其解析度足以由 AI 同時判定外觀瑕疵及以大小圓點判斷針頂磨耗狀況,詳如下圖。

以線掃描像素方式,呈現針頂磨耗情形
以線掃描像素方式,呈現針頂磨耗情形

 依此 AI 檢測技術能符合穎崴的量測與檢測兩項需求,不僅在未來探針檢測上帶來更多的效益,也在 AI 技術方面帶來創新主軸。

改變人檢方式,提升工作效率與產品品質!

經以上述硬/軟雙劍合璧後(線掃描硬體/AI 軟體模式訓練),成功挑戰了 AOI 新興檢測應用,經本案 AI 落地 POC 驗證後,包含客製化線掃描模組及初步 AI 模型開發、驗證,計畫明年正式開發 AOI 機台,並導入 IC 測試座生產線。

未來展望

IC 測試座上游探針業者及下游 IC 廠使用者對 AOI 檢測機台均有需求,上游可確保探針出廠品質,下游使用者則可利用本機台定期檢測手中諸多 IC 測試座使用狀況,對未來需求勢必殷切,故本計畫 AOI 機台對 IC 測試產業於可見的未來必將造成極為正面的影響。

推薦案例

這是一張圖片。 This is a picture.
生成式AI在商場!聚典資訊打造創新購物體驗

隨著智慧零售新風潮的崛起與不斷演進的AI科技與技術,聚典資訊乘此風浪推出生成式AI客服機器人Gen AI 客服機器人,為改寫消費體驗的傳統框架做足了準備,欲替場域、顧客與品牌方開創零售新應用 為了提升使用者體驗,聚典資訊攜手三創生活與西門商圈,共同推行全新的生成式AI智能客服系統。這一創新技術結合了高效的便利性、智能問答、自動推薦等功能,顧客們僅需拿起手機,掃描螢幕上的QR Code即可獲得所需資訊與推薦清單,不僅為他們帶來更加方便的購物體驗,場域方更能透過實體機台與後台分析協助,提升營運效益並掌握行銷流量密碼,達到商業洞見新應用的效果。 Gen AInbsp客服機器人 五大特點 【便利性提升】新的AI智能客服系統設置於驗證場域內,配備大螢幕顯示樓層導覽和分類介紹選單,操作簡便直觀。顧客可以掃描螢幕上的QR Code,客服資訊帶著走,隨時隨地查找需要的資訊,大大地提高了尋找商店與商品的效率。 【智能問答系統】聚典資訊開發的智能問答系統,使用自建語言模型,建立專屬語意資料庫。系統運用非關聯式資料庫和Vector Search技術,為每個使用情境量身定制智能問答解決方案。通過語意分析,系統能夠提供精準且人性化的回答,並經由不斷學習和更新資料庫,以提升服務品質。 【自然語言處理 NLP 技術】系統透過大規模語料庫訓練,具備深度語言結構和語意理解能力。不只能夠生成自然流暢的回答,也能通過分析不同用詞和標點符號的情緒語氣,提供適當的回應,使顧客感受到貼心的服務。 【全天候即時服務】該系統提供24小時不間斷的即時服務,確保無論何時何地,顧客都能獲得所需的幫助,其顧客滿意度高達90。 【多元應用場景】聚典資訊的生成式AI智能客服系統,除了智慧零售的應用外,還可以廣泛應用於藝文產業和行銷團隊等多個領域,提升各行業的運營效率和客戶體驗。 聚典資訊於西門商圈六號出口外之智慧顯示機台 生成式AI在商場 智慧顯示更加分搭載點擊與影像辨識的智慧顯示機台,協助使用者更能看見生成式AI,並達到完整的使用流程,避免單方面的資訊傳遞也能有效提高使用者體驗,更能依照場域需求增加模組,如小遊戲、拍貼機與智慧行銷模組,增添使用樂趣與傳遞品牌價值,建立人與人與商場的連結。 10,000以上雙月造訪人次:Gen AI配合搭載點擊與影像辨識的智慧顯示機台,更有效的引導使用者獲得重要資訊。 90以上的使用滿意度:透過完整的使用者旅程,我們也獲得90以上的使用滿意度,並持續為使用者創造美好體驗與回憶。 247全天候客服服務:透過雲端伺服器的運作,我們打造了24小時全年無休的智能客服,無時無刻幫助使用者解決各式難題。 智慧顯示Gen AI 完整零售實體場域的使用者旅程 nbsp 最懂你的智能客服 最多樣的解決方案 聚典資訊提供包含於雲端、地端或混和雲的AI解決方案,依據客戶需求進行導入,並為企業設計了專屬的問答介面,無論是使用者還是管理者,都能輕鬆上手。這套系統不僅美觀大方,還能大幅提升工作效率,讓企業在數位轉型過程中快速進入狀況。 地端部署的生成式AI解決方案能避免資料上傳至雲端,確保企業敏感資訊的安全,從資料輸入到AI模型訓練與推論的所有過程,均在地端主機進行,這樣的架構消除了資訊外洩的風險,特別適合對資料隱私有高度要求的企業,如大型零售業、製造業、科技業及政府部門等。 聚典資訊的專業團隊根據每個企業的特定需求,打造專屬的大語言模型LLM,企業只需提供相關的垂直領域資料,便能透過AI技術快速生成精準的內容,應用範圍廣泛,從文案創作、翻譯語言到客服系統等,幫助企業在不同業務領域中全面提升效能。此外亦能透過後台面板查看每次互動的完整問答紀錄,讓企業能夠檢視使用效益,並根據實際運作情況持續優化AI模型的表現,從而提供更精確、更人性化的服務。 聚典資安落地生成式AI介紹,提供多樣化的解決方案 AI for Good 「AI for good」 一直是聚典在推動技術創新的同時,也關注其在社會責任與ESG永續發展方面的角色,因此能不斷的創新並持續為使用者創造更佳的使用者體驗,也與合作企業一同推動更具效能、具社會意義的解決方案,希望能透過AI打造更智慧的城市並提供更優質的生活體驗。nbsp

【導入案例】巨量遙測空間數據AI分析雲端服務平台 使衛星遙測影像順利落地應用
巨量遙測空間數據AI分析雲端服務平台 使衛星遙測影像順利落地應用

衛星遙測影像雖然可以讓地面景物無所遁形,然真正要能落地應用至產業面,還需要耗費大量時間與人力。為有效解決客戶面臨巨量影像資料消化困難及消除跨領域用戶對衛星遙測影像處理的技術障礙等問題,興創知能研發「巨量遙測空間數據AI分析雲端服務平台」,作為智慧空間資訊跨域AI應用導入的新開端。 近年來,為了因應產業全球化衝擊,臺灣農業轉型持續走向科技化與精緻化,紛紛從微氣候衝擊、病蟲害防治等問題的解決,來提升農作物的產量與品質。為了精確掌握作物的生長環境、農業對於影像的使用,有了無限擴張的需求。 在早年UAV無人機尚未盛行的年代,人工田野調查是最基本、卻也最消耗人力的工作,有了UAV無人機的出現,航拍操作也許不太困難,但能拍的範圍受限,要精確地擷取空間資訊,還需要測量專業。此時,衛星遙測數據的使用可能就此跳脫過去使用影像資料的想像。 國家太空中心TASA資料倉儲服務 在近十年,現代衛星遙測應用技術的突破,數位地球成了全球資料採集的新趨勢、各國紛紛發展資料立方的影像倉儲技術,各國發展智慧農業成了最大的影像用戶之一,掌握作物的栽種分佈,就是掌握作物產量的第一步,有了免費的衛星遙測影像、強大的資料倉儲支援,以及團隊穩健的影像辨識技術,是加速農業轉型的重要支持。 運用衛星遙測影像數據 可加速智慧農業發展 然而,在過去,想透過衛星遙測影像來萃取大面積作物分布,也是困難重重,所需要花費的費用不說,若想使用免費的資訊,必須逛透國際太空機構的網站,在琳瑯滿目的衛星產品規格表中,審慎評估感測器規格、影像解析度以及再訪週期,找到適合的影像後,還得一幅一幅的看,去蕪存菁,接下來,動輒數百MegabyteMB的影像資料、連續幾十張的影像下載存檔,所用的電腦容量恐不堪負荷。 還有,當克服影像存取、備好資料後,接著必須開始確認下載的影像產品,哪些才是想要的波段,因為眼前看到的影像並不只是一個圖檔jpg或png,複雜的多光譜資訊、屬性欄位和座標資訊,光是確認正確的資訊,就耗費龐大心力。 而面對功能複雜的GIS套裝軟體,又是另一個麻煩的開始,複雜的影像前處理流程,以及缺乏彈性的機器學習套件,大幅降低分析資料的效率。好不容易做出作物辨識的結果,才發現可能已經過了圖資使用的黃金時期。上述複雜耗時的衛星影像處理問題,恰恰就是市場的痛點, 興創知能從傳統的機器學習擴展到現代的深度學習應用,研發在GeoAI框架下的「巨量遙測空間數據AI分析雲端服務平台」,為客戶突破這些空間資訊的魔鬼細節。 AI分析雲端服務平台流程導入前後之差異 興創知能表示,在我國國家太空中心TASA, Taiwan Space Agency的多年努力下,屬於臺灣的ODCOpen Data Cube系統也已打造完成啟動服務,與國際趨勢正式接軌,強大的倉儲技術讓使用者可以輕易的根據需求,擷取並使用特定時間與空間範圍的影像資料,倉儲收納了國際太空機構旗下的多個衛星影像資源,包含ESA的Sentinel-1每隔6日一幅、Sentinel-2每隔6日一幅,USGS的Landsat-7每隔16日一幅、Landsat-8每隔16日一幅,以及國內自有的Formosat-2每日一幅與Formosat-5每隔2日一幅。 以Python語言為基礎 興創知能開發衛星影像辨識工具 擺脫GISGeographic Information System套裝軟體的侷限,興創知能以Python語言為基礎,整合GDALGeospatial Data Abstraction Library,並考慮運算效率與平行處理,完成所有衛星影像處理與影像辨識建模所需的工具開發,包含座標系統與資料格式的轉換、網格與向量資料互動,以及資料內差與正規化等工具,都是以AI應用為考量進行設計,而部分常用的工具更以TronGisPy為名,打包為開源套件造福技術社群。 興創知能善用團隊對衛星遙測影像的了解,以及透過所蒐集的標記資料作物分佈圖資,預設好影像辨識建模過程,所需的訓練資料規格與資料集定義,套用事先完成的機器學習LightGBM或深度學習CNN框架,並讓整個訓練過程在Web GIS的介面中,提供使用者部分的彈性,自由篩選影像、確認時空範圍、選用模型與超參數調整。除了訓練模型的操作,也提供歷史模型的運用產出辨識結果,最終讓作物分佈的辨識結果展示在Web GIS圖台。 事實上,不僅只是農業才會有衛星遙測的應用需求,隨著各行各業為了提升企業全球性的競爭能力,空間資訊的智慧化應用也大幅度的出現在各種領域之中。舉例而言,擁有大量圖資的測繪業者,能夠透過AI分析雲端服務平台 ,收納圖資的同時也加速數化製圖的效率;在全球氣候劇烈變化與致災性地震風險之下,產業保險類別豐富,農業保險、金融保險或是災害保險,都與空間資訊脫離不了關係,透過遙測影像辨識掌握保險標的早已成為國際趨勢。 巨量遙測空間數據AI分析雲端服務架構

這是一張圖片。 This is a picture.
CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGV(Automated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。 2 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區:日月光L但碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。