:::

【113年 應用案例】 CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。

需求痛點

日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件/事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。

(1) 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGVAutomated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。

(2) 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。

(3) 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。

(4) 卸貨碼頭區:日月光L!碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。

異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像

日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。

問題情境
問題情境

物件偵測

物件偵測資料來源分成兩個部份: 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。

九大物件
九大物件

顏色辨識

顏色辨識資料來源分成兩個部份: 網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。

動態忽略免除混淆訓練

OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。

動態忽略
動態忽略

AI幫你看

CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。

推薦案例

【解決方案】優式AI智能割草機器人 搶攻高爾夫藍海市場
優式AI智能割草機器人 搶攻高爾夫藍海市場

一台看似掃地機器人的AI智能割草機器人,在面積達30公頃的高爾夫球場草坪上來回穿梭進行除草工作。這是由國人自主研發與設計的AI智能割草機器人,此種機型搭載全球首創電子圍籬定位技術,可利用高精準定位的GPS功能結合雲端AI計算最割草路徑,已計畫搶攻高爾夫球藍海市場。 這款AI智能割草機器人由成立於2019年的台灣新創公司優式機器人進行研發,優式機器人總經理陳招成曾擔任台灣前5大ODM科技公司的執行副總經理,擅長軟硬整合工作。在他擔任服務型機器人聯盟總召集人時,就深知在少子化、人力漸趨吃緊的情況下,服務型機器人勢必成為高度成長的產業。 新需求》園藝市場規模大 剛性需求殷切 「發展服務型機器人核心技術,一定要找到剛性需求,綜觀歐美國家,人工短缺,然園藝需求增加,園藝工長年短缺7-10」,在此「剛性需求」強烈的情況下,陳招成成立優式機器人公司,第一個產品就是研發AI智能割草機器人。 以國外來說,美國是全球最大的園藝市場,佔全球產值高達30-40,估計約有100萬名園藝工,然近年來皆處於7-10的缺工狀態,遲遲無法改善。主要缺工原因為:人口老化,加上園藝工作靠勞力工作吃重,年輕人不想做。而不像在台灣,歐美國家對於草坪維護十分重視,並明文規定不除草,將觸犯法規予以重罰,因此,AI智能割草機器人的市場發展潛力相當大。 藉由AI多裝置智慧協作割草感測技術的導入,期望減少場務人員整理球場之負擔 優式機器人所開發的AI智能割草機器人已研發至第二代,包括國內大學院校及知名美術館使用最新機型M1,同時也在美國包括一些全球知名的高科技公司,及知名的大學院校等實際場域中運行,正進行後續商務合作的洽談中。 優式機器人表示,目前使用的專業RTK系統,可以將原本GPS定位的誤差從數十公尺縮小到2公分左右,讓機器人在戶外也可以精準的移動。簡單設定邊界後,便能透過APP輕鬆地進行作業。 新應用》導入高爾夫球場 解決人力老化及短缺問題 陳招成進一步說明,國土測繪局是RTK的服務商,RTK將定位點的誤差參考圖提供出來,優式機器人透過4G上網,即可抓取特定位置的定位誤差值。再透過優式機器人的AI演算法,將原本一般GPS 10-20公尺誤差值縮短到2公分。定位好之後,優式機器人再運用六軸加速器定位、陀螺儀、輪子的輪差等感測裝置導入,進行軟硬整合工程,搭配輪子的運動模式和地形的契合,才能達到精準的除草路徑規劃。 這款寬度62公分、長度84公分、高度 46公分,重量只有25公斤的智能割草機器人可以在雲端將割草邊界設定完成,可以透過設定避掉水池與沙坑,用AI演算法自動計算出最佳路徑,一小時可除草面積大約是150坪,電池可以連續使用6小時以上,電池續航力是目前全球最高。 除了一般園藝公司外,在經濟部工業局AI計畫團隊的協助下,將優式機器人的AI智能割草機器人導入高爾夫球場的割草應用。 位於台中市太平區的知名高爾夫球場現有場務人員5人,負責整個球場30公頃的草坪、植栽維護、及其他景觀維護工作。但因場務人員平均年齡高達55歲,且長期無法招募到新的場務人員,針對場務人員的老年化及人力的短缺,希望能尋求AI科技的導入來減緩衝擊,因此藉由AI多裝置智慧協作割草感測技術的導入,期望減少場務人員整理球場之負擔。 新挑戰》因應草種不同 需藉由專家系統克服困難 「這款AI智能割草機器人具備低噪音、低汙染、低人力成本及防水、防盜等配置,在割草的過程中,能透過超音波感測器辨識避開障礙物,並同時保持除草品質,維持美觀一致的割草長度」,陳招成接著表示,高爾夫球最重要的是草紋要漂亮、不能有病蟲害。 根據場勘後發現,高爾夫球場地主要分為果嶺、球道及長草區三大區塊,長草區以現行機器人除草沒有問題,20度以內的斜坡道都能夠克服;球道區的短草只能維持兩公分,草種也不同,需要修改刀盤設計;至於果嶺區的草因為影響到推桿速度,不僅要除草,還要壓草至與地面貼合,草的方向要一致,諸多因素均會影響到果嶺指數,這部分需要更多的研究與測試。 AI智能割草機器人能透過超音波感測器辨識避開障礙物,並同時保持除草品質 AI智慧割草機器人內建攝影鏡頭,可以用來偵測草坪的健康狀態,陳招成表示,未來也將導入專家系統,及早判斷草坪是否有病蟲害或水分足夠與否,將草坪健康數據分析提供給客戶參考,可及早防範與因應,以減少災害損失。 本身也是高爾夫球好手的陳招成表示,台灣高爾夫球發展得很好,然而,受到氣候多雨潮濕、有颱風等天候因素影響,與國外一流球場比較,台灣的高爾夫球場土質偏硬,坑洞較多,若智能割草機器人要普遍導入高爾夫球場仍有許多困難必須克服。但因台灣的困難地形造就很好的試煉場所,一旦台灣能夠克服諸多問題順利導入,就能擴展到海外市場,搶攻新的藍海市場商機。 優式機器人總經理陳招成

這是一張圖片。 This is a picture.
基於人工智慧的PCBA表面瑕疵檢測改善

隨著AOIAI系統的導入,我們將能提高產品良率、降低成本,從業務面來看,更可提高客戶的信任度,增加營業收益。而且AI具有難以被模仿的優勢,並非如其它設備只要花錢就買的到,讓我們的競爭對手難以追上我們。 組弘發展現況 我們致力於IOT智慧製造上,自行開發的系統已有智慧物料系統、環境溫溼度監控系統、防錯料系統、智能採購算料系統、智慧物料盤點系統、錫膏管理系統、生管系統。過去我們曾詢問過其他廠商,有關AI檢驗PCBA表面瑕疵的可能性,每個廠商都希望我們能夠購買其設備,但實際驗證後都無法達到效果,此次與資服業者討論過後,定調為AOIAI的運作模式,方覺得有可行性。 組弘科技投入AOIAI檢測計畫,用於檢查SMT零件上的文字、焊點、極性、缺件hellip等,用AI替代人工來學習AOI檢測後定義為rdquo可能是不良品rdquo的部份,提升人員產值與降低誤判率。 產業痛點 nbspnbspnbsp 台灣缺工情形嚴重,尤其願意從事目視檢查的人更少,而且年齡相對較大,檢查遺漏的狀況越來越嚴重。所以在追求高品質電子產業中,最關鍵的瓶頸已經是生產後的檢查。過去的消費性產品,異常未能被檢出,只要在一定比例下,也可被接受。現在的汽車產業如果有不良未被檢出,即有可能造成人員死亡,所以汽車產業對於品質的要求極高。要想在汽車產業的供應鏈中生存,就必須解決異常無法被檢出的問題。 nbspnbspnbsp 而且隨著台灣工資越來越高,只能設法以AI技術,取代傳統人力,否則就算解決了異常流出,但相對高的人力成本依然無法在此產業中競爭。 應用技術與說明 nbspnbspnbsp 原本過程圖一,PCB從出來Reflow後,會經過AOI檢測,分出「疑似不良品」與良品,這時「疑似不良品」的部分約為20,再由人工針對這20的部分來做複判,再將「疑似不良品」的部分區分為良品與不良品。 nbspnbspnbsp 我們想要藉由AI的技術,將原本由人工複判這20的「疑似不良品」改由AI來做,複判出來一樣會有良品與「疑似不良品」,結果一樣會有「良品」與「疑似不良品」的產生,但此時「疑似不良品」約只剩下3,也就是說組弘作業人員的工作量會從20降到只有3。理論上是AOI檢查完後,再由AI來做複判,但從表面看起來似乎只有經過AOI而已,所以我們才將這個技術稱之為A0IAI檢測圖二。 原本AOI檢測過程 操作員將待測PCB板放入AOI檢測設備,輸出AOI 檢測不良品資訊,再經由人工逐一覆判是否為不良品。 AOIAI檢測過程 操作員將待測PCB板放入AOI檢測設備,輸出AOI檢測不良品資訊後, 進由AI先進行AOI檢測不良品的覆判,輸出AI檢測不良資訊後, 再經由人工逐一覆判是否為不良品。 流程差異 nbspnbspnbsp 藉由AOIAI系統的導入,我們除了能夠提升目視檢查人員的效率與良率外,我們有了這次AI的導入經驗,以後也可將AI與大數據的運用加入到組弘原有的智慧製造系統,使我們的智慧製造系統的效能更提升,更進一步的減輕員工的工作壓力。 導入前後差異說明 推廣策略 1nbspnbspnbspnbspnbspnbsp 同領域擴散:所有SMT製造業皆會遇到檢查瓶頸導致延誤出貨的狀況,導入此系統可解決目前缺工嚴重問題並提升出貨速度與品質,自行向客戶推廣或透過設備商銷售給相關需求者。 2nbspnbspnbspnbspnbspnbsp 異業擴散規劃:與AOI製造商洽談直接將AI系統掛在AOI系統內,增加其市場競爭力。 nbsp 獲利策略 1nbspnbspnbspnbspnbspnbsp 與AOI製造商合作收取授權金。 2nbspnbspnbspnbspnbspnbsp 與SMT製造業直接銷售AI系統。 3nbspnbspnbspnbspnbspnbsp 提供SMT製造業AOIAI系統訂閱制

【導入案例】防患於未然 麗臺科技研發心臟衰竭AI辨識技術可及早發現病徵
防患於未然 麗臺科技研發心臟衰竭AI辨識技術可及早發現病徵

隨著高齡人口增加,伴隨著各種慢性病的發生機率日增,其中,心臟衰竭不僅是隱形殺手,由於心衰疾病的病程非常長,復發機率高,造成醫護人員的負擔加重。然而,利用通過醫療認證之心電心音裝置,搭配心臟衰竭風險AI預測評估及遠距照護系統可輔助診斷幫助醫師做出正確的診斷,以利於後續病患的醫療或轉介。 心臟衰竭病程長 醫療支出是糖尿病5倍 如果你有呼吸易喘,甚至稍微動一下就喘,或是夜晚睡覺的時候,容易從睡夢中驚醒,需要坐起來才會比較舒服,又或是下肢容易有水腫等狀況,甚至合併有焦慮、不安、疲倦、食慾下降hellip等症狀,當心很有可能是心臟衰竭。 根據統計,全球心臟衰竭人口約有6000萬人,每年新增的心臟衰竭人口約500萬人。中國的心血管疾病患者將近29億人口,占城市居民死亡原因第二位;而全中國約有1200萬心臟衰竭病人,佔心臟病死因的59以上。尤其心衰疾病的病程非常長,且復發及再入院率非常高,使得醫療支出的成本是高血壓的2倍、糖尿病的5倍。 根據美國研究統計,心肌梗塞及心臟衰竭病人的30天內死亡率分別為166及111,並且30天內再住院率分別為199及244。心臟衰竭的症狀因為和其他疾病如慢性肺阻塞,氣喘等疾病相似,有185 的誤診率,對於醫療院所而言,是相當棘手的問題。 麗臺科技為顯示卡大廠,2000年起投入醫療及健康照護領域。由於董事長盧崑山曾分別與2011年及2015年兩度心臟病發,因此,麗臺科技專注於健康大數據,自主研發心臟衰竭AI辨識技術,此一AI應用讀取病患的心電圖以及心音圖做出異常檢測以及心臟衰竭的風險預測模型,可及早發現疾病徵兆。 麗臺科技自主研發心臟衰竭AI辨識技術 可預測病史及風險 麗臺自主研發之心臟衰竭AI辨識技術具以下三種判斷功能: 1 心臟衰竭病史之預測 將心電及心音圖資料分類為「具心臟衰竭住院病史」以及「未具心臟衰竭病史」兩類。 2 心臟衰竭風險預測 將心電及心音圖資料給予發生的心臟衰竭風險預測值。 3 心臟衰竭再發生風險預測 針對已有心臟衰竭的患者判讀其心音圖及心音圖,判斷其心衰再發生之風險預測。 麗臺科技表示,心臟衰竭AI辨識技術應用可輔助醫師更有效率且精確的診斷,以利後續病患的醫療或轉介。舉台北榮總研究心臟衰竭的離院病患為例,根據心電心音同軸檢測裝置所計算出的EMAT電機活化期指數與SDI心縮不全指數作為治療指引的病患,會比依據傳統症狀做為治療指引的病患,有更高的存活率,此研究也已刊登於國際心臟權威期刊JACC,獲得國際市場肯定。 系統廠商可將心臟衰竭AI辨識技術作其他加值應用 麗臺科技表示,合作系統廠商可選擇自建心臟衰竭AI風險預測引擎,將自有系統之心電心音圖上傳到麗臺心臟衰竭AI風險預測引擎後,引擎回傳風險預測值,做為系統整合廠商合作廠商的加值應用輸入。 不僅臨床使用 心臟衰竭AI風險預測引擎可延伸居家或工作場與使用 此外,這套系統也可以延伸至其他應用,包括: 一、醫院門診快篩:醫師可使用心電心音記錄器及心臟衰竭AI風險預測模型,在門診、急診進行10秒快速檢測,評估病患心臟病史及心臟衰竭風險。 二、出院風險評估:醫師可使用心電心音記錄器及心臟衰竭AI風險預測模型,評估病患住院期間的心臟衰竭風險,檢測數據可作為出院前的風險評估及預後指標。 三、居家連續照護:病患可使用心電心音記錄器、穿戴心電圖記錄器,透過居家傳輸盒閘道器,在家量測心電心音訊號,並上傳至amor健康雲平台進行心臟衰竭AI風險預測分析。病患可透過APP自主健康管理,檢視歷史生理趨勢;疾病個管師可透過健康管理後台Web管理會員健康。 四、居家康復訓練 病患可配戴健康手環,進行活動、疲勞、循環、睡眠檢測,透過手機APP自主管理健康及觀察心臟衰竭風險,進行運動及康復訓練,幫助身體快速復原。 心臟衰竭AI辨識技術系統可以延伸至員工居家照護等應用。 此外,在工廠或辦公室等場域也可以透過這套系統達到員工健康管理的目標,應用的方向包括: 一、工作場域之作業安全單位:在員工執行工作業務前發給員工穿戴心電圖記錄器。 二、業務執行者生理監測:員工於執行業務或訓練時,配戴穿戴心電圖記錄器之疲勞警示,警示生理狀態是否可繼續執行任務。任務執行段落可使用資料傳輸盒或APP 將生理監測資訊上傳至健康管理平台,並評估作業員工心臟衰竭風險,檢測數據可作為企業資源人力單位做為風險評估及公共安全對應指標。 三、工作場域生理監控中心照護:工作場域的生理監控中心可透過健康雲平台,檢視並記錄員工值情時之歷史生理趨勢。 四、工作場域之護理單位:護理單位在接收生理監控中心指示,可依據值情員工的生理趨勢給予健康管理的建議;護理中心可透過健康管理後台Web管理員工健康。 五、員工可配戴健康手環,進行活動、疲勞、循環、睡眠檢測,透過手機APP自主管理健康及觀察心臟衰竭風險,進行運動及康復訓練,幫助身體快速復原。 工作場域應用心臟衰竭雲端照護及大數據中心示意圖