查找某特定人物，尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定，人物藍黑色上衣，行李箱顏色黑色，透過CCTV 智能影像搜索系統，做物件與顏色檢索條件設定，可以成功搜尋到三段縮圖有出現關鍵標的影片，可以有效解決作業人員查找物件標的物，透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落，但若在事件事故發生時，無法在有限的時間可透過CCTV影像回放被找到，其背後之意涵與其中蘊藏之巨大風險自是不言而喻，而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊，其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲：半導體企業之自動化生產線與自動倉儲中常有AGV（Automated Guided Vehicle）無人車高速行駛，若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告，則當憾事發生將追悔莫及。 2 材料與產品存放區域：半導體相關製程之材料價值不菲，若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區：營業秘密關乎半導體相關企業之核心技術競爭力，若有人員侵入高機密管制區則有企業營業秘密外洩之風險，而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區：日月光L但碼頭區常有卸貨車輛進出，若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後，貨物倒塌造成損毀，因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時，如何在海量數據中，快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關，但CCTV的數量動輒上千支、上萬支，一旦發生事件要去搜索影像時，都要用人眼一一回放查找、搜索，耗時耗力效益不彰。有鑑於現今電腦視覺的發展，遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中，取出符合定義的九大類別物件訓練資料，其中有二類物件未能於OIDv4中搜索到可用資料，分別為刀子與汽油桶，其餘七種類別物件皆可從OIDv4中取出可用訓練資料，此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案，從中抽取部分幀（Frame）的影像，並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集，因此只能從網路蒐集圖像，於網路上搜索符合定義的九大類別物件的圖像，儲存圖像後將物件與背景分割，只保留物件的區塊，最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案，則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像，最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義，各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時，因為此資料集的每張影像中，皆只有針對單一類別做標記，但影像中有可能包含其他欲偵測之類別未被標記，故針對此種情況，訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統，可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能，僅需定義搜尋條件，即可快速產出關鍵物件的縮圖影片並進行回放確認，縮短昔日以人工調閱案件所須時間，查找時間快6倍，前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。

「喜鵲生活的DNA不會只有販賣機，我們相信販賣機結合科技、通路、人文，才能帶來令我們歡欣鼓舞的成果。」這是喜鵲生活官網上的一句話，讓販賣機帶來愉悅的生活，建構貼心、科技、永續的智能機產業未來，也是喜鵲生活創立的初衷。 成立於2018年的喜鵲生活，在成立4個月之後，即推出臺灣第一台自有品牌結合行動支付掃碼感應、藉由螢幕觸碰完成消費體驗、POS系統管理、數據聚集於後台的喜鵲U1智販機，讓消費者能同步世界的新零售腳步，體驗購買便利性、結帳安全性、視覺娛樂性、提升物流補貨效率的全新零售消費體驗。 傳統販賣機缺乏資訊可見度 AI技術協助資訊透明化 此次，喜鵲智能販賣機更搭載AI技術，提供可調整貨架空間、搭配工業電腦與大尺寸觸控顯示螢幕之自動販賣機，達成無店面商店之目的。 喜鵲生活表示，傳統販賣機最大問題即是缺乏資訊可見度。想要檢查庫存，就必須由補貨人員實際檢查每一部機器，這種做法既費時，成本也高。而當機器故障時，一般更是會長時間無法運作。大多數故障均無人通報，直到下次補貨人員抵達補貨才會發現。接著還必須等待維修技師排行程，而一等就可能需要數週的時間。 傳統販賣機缺乏即時互動性，當消費者投幣後遇到狀況時廠商無法當下處理。此外，傳統販賣機更缺乏彈性，無法應消費者偏好變化而調適。 傳統販賣機存在僅限零錢購物、支付工具單一；商品擺放數量有限，選擇性少等缺點。 受到COVID-19疫情影響，消費習慣轉為非接觸式的方式，致使無人化商店市場升溫。一般自動販賣機僅能擺放較單純的商品如飲料、食品等等。可販售的產業有限。而喜鵲開發出的專利販賣機可調整貨架空間，搭配升降貨梯，適用在各種類型的商品。此外，機台搭配工業電腦與大尺寸觸控顯示螢幕，能同時達到廣告託播的需求，預計朝無店面商店的方向邁進。 根據喜鵲生活觀察發現，近兩年來的消費者市場趨勢，消費者訴求便利生活、飲食消費型態重視餐飲體驗簡單快速，並且搭配手機連網訂購模式，而且熱飲及鮮食外送是兩大趨勢重點。而設置地點、販售品項、食用方式及多元付款方式是智能販售機的市場成長重點。 就便利性而言，臺灣消費者購買自動販賣機食品仍以車站、機場、學校、商業區公司附近為最高，多樣的付款方式也更獲得消費者支持，顯示未來自動販賣機可朝品項多元和支付方式多元兩大方向展開。 AI銷售預測技術整合後台管理 達到精準行銷目的 由於商品種類繁多，難以得知商品在不同因素如季節、市場情形、促銷活動等影響下的需求，容易造成缺貨或庫存過剩的狀況，喜鵲生活特別開發「AI銷售預測技術」，整合至後台管理系統，期能透過數據分析鎖定客戶購買偏好及意願，進而達到精準行銷之目的，進而做出精準的商業決策，有效分配有限資源。 導入AI系統可達精準行銷、庫存管理及供應鏈管理三大目標。 此一系統為專為供應鏈管理人員設計的調補貨決策輔助工具，透過 AI 預測未來銷量需求，協助企業有效優化產能、庫存及配貨策略。 其整體系統架構包括： 1資料探索性分析功能：針對資料內缺失值提供自動化補值、自動編碼及自動特徵篩選功能。 2建模功能 ： 1提供迴歸Regression、時間序列Time Series Forecast共兩類預測問題類型之模型訓練功能。nbsp 2支援 Auto ML 自動建模，並由系統推薦提供最佳模型，亦可建立集成模型提升模型準度。nbsp 3支援多種演算法類型：Random Forest, XGBoost, GBM等演算法。nbsp 4支援多種時間序列模型：指數平滑、ARIMA、ARIMAX、間歇性需求、動態複迴歸等模型。nbsp 5支援多種模型評估指標：R, MAE, MSE, RMSE, Deviance, AUC, Lift top 1, Misclassification等指標。nbsp 6支援自動切割訓練資料集及Holdout驗證資料集，並可手動調整比例。nbsp 7支援自動模型集成學習 Stacked Ensemble、平衡函數學習 Balancing Classes、早停法 Early Stopping。nbsp 8支援同時建立多個模型，系統將依照建模需求配置資源，讓建模、預測等任務擁有獨立的運算資源且互不影響，在整體伺服器空間有上限的情況下，運算資源能有效率被利用。nbsp 9具有記憶體運算In-memory computing功能，可藉由大容量及高速的記憶體進行運算，避免大量從硬碟中讀寫檔案，提高運算效能。 3資料串接功能： 運用API嫁接，採用完整的資料串接自動化，不需要手動匯入資料，提高使用者體驗。 4圖表分析功能：針對商品銷量提供視覺畫圖表及基本統計值。 AI數據分析解決方案具備兩大優勢： 1創業機台租售 低成本開設無人實體店與連鎖零售業合作，透過智能機讓創業者以低於店面租金的成本經營零售生意。提供機台買賣及租賃兩種合作模式，依業者評估選擇。 2多型態商品上架 24小時隨時隨地販售商品，可上架達60多種多樣化商品，透明大櫥窗提升商品能見度，定期補貨及追蹤商品販售狀況，依需求調整產品類型。 近來網路與實體界線模糊化，顧客互動方式大幅改變，消費需求多變且個性化，零售業面臨前所未有的挑戰和不確定性，掌握數據成為關鍵。AI 數據分析解決方案能幫助零售業快速活化大量資料，打造無縫的個人化體驗，最佳化營運價值鏈並提升效率，強化企業核心競爭力。

在 5G、AIOT、汽車電子等下游發展迅速，全產業鏈有望受益於此消費市場。在產品需求動能逐漸增加的情況之下，提高生產效率與降低作業成本成為最重要的課題。為符合客戶各封裝產品類型的需求，穎崴科技一直致力於研發高度客製化測試座，但衍伸的作業痛點則是無法大批量與機台全自動化的作業，部分作業仍需依賴人工執行。 在本案 2021 年時測試座探針部分是委外製造，對現行與未來的大量需求下工時、成本、供給、品質是穎崴需面臨的課題。nbsp因探針的體積較小且材質屬於金屬類型，在現行人力目檢下需花上較多的時間調整焦距、亮度等以確保能看得清晰並判斷，而判斷標準會因人而異，容易因主觀意識或人員目檢疲勞產生誤判、作業疏失，導致不良品未檢出、流入客戶端手中，使客戶使用本公司的測試座產生誤判結果，導致客戶產品功能失效等問題，進而影響本公司的商譽。 本公司在接觸元件檢測良率為 9995，看似高良率，但以一個品檢人員平均一天能檢測 1 萬根針，不良品就有 5 根針，在僅 3 公分長寬的測試座上約有 1 千根針，只要有一根不良針可能導致客戶端測試不良。因現有作業模式為人力目檢，當外在因子若為人員疲勞，人員作業疏失，人員非量化判定即有可能造成不良品流出，因此接觸元件的品質必須嚴格把關。 nbsp曾尋求以光學檢測Rule-based進行外觀品質控管，但接觸元件材質為金屬製，對光線會產生射散、背景雜訊干涉、背景刮痕、材質等因素可能造成誤判，因而找到在 AI 技術方面的資服業者來解決我們的檢測難處。 開發 AOI 專用線掃設備 nbsp為了達成本公司 IC 測試座內動輒數千上萬支探針檢測需求，若以傳統面型取像與逐針取像，勢必因取像速度慢無法達到快速檢測以及節約人力的目標。針對此點，資服業者提出可試用 AOI 專用線掃模組方案，以 X 軸 63mm 為面寬，往復掃描測試座上的所有探針，經測試可一次掃描 89 支探針如下圖，大幅提升未來 AOI 機台的檢測效率。nbsp本案將進行上述創新的概念驗證POC，重點於線掃描設備的開發，針對本公司所提供的正常與異常探針進行取像、學習、訓練，先以逐針取像，訓練初步 AI 模型為驗證目標，以達初步認可。 本案客製化開發的線掃描取像模組 未來理想取像結果示意圖 以單一 AI 技術方案解決量檢測需求 nbsp統一以 AI DL CNN 學習方式，取代現行 Rule based 需逐一定義瑕疵，為滿足磨耗的量測需求與缺損異物的外觀瑕疵檢測需求，如機台同時採用採量測檢測兩套技術，除了成本增加外，亦影響檢測速度，則資服業者建議以線掃描設備取像，其解析度足以由 AI 同時判定外觀瑕疵及以大小圓點判斷針頂磨耗狀況，詳如下圖。 以線掃描像素方式，呈現針頂磨耗情形 nbsp依此 AI 檢測技術能符合穎崴的量測與檢測兩項需求，不僅在未來探針檢測上帶來更多的效益，也在 AI 技術方面帶來創新主軸。 改變人檢方式，提升工作效率與產品品質 經以上述硬軟雙劍合璧後線掃描硬體AI 軟體模式訓練，成功挑戰了 AOI 新興檢測應用，經本案 AI 落地 POC 驗證後，包含客製化線掃描模組及初步 AI 模型開發、驗證，計畫明年正式開發 AOI 機台，並導入 IC 測試座生產線。 未來展望 IC 測試座上游探針業者及下游 IC 廠使用者對 AOI 檢測機台均有需求，上游可確保探針出廠品質，下游使用者則可利用本機台定期檢測手中諸多 IC 測試座使用狀況，對未來需求勢必殷切，故本計畫 AOI 機台對 IC 測試產業於可見的未來必將造成極為正面的影響。