<div><span>查找某特定人物，尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定，人物藍黑色上衣，行李箱顏色黑色，透過</span><span lang="EN-US">CCTV </span><span>智能影像搜索系統，做物件與顏色檢索條件設定，可以成功搜尋到三段縮圖有出現關鍵標的影片，可以有效解決作業人員查找物件標的物，透過此系統查詢速度可比人工快</span><span lang="EN-US">6</span><span>倍。</span></div> <div> <table cellpadding="0" cellspacing="0" width="100%" border="1" class="MsoTableGrid"> <tbody> <tr> <td width="100%" valign="top"> <p align="center" class="MsoNormal"><strong><span>需求痛點</span></strong></p> <p class="MsoNormal"><span>日月光高雄廠區內密布</span><span lang="EN-US">CCTV</span><span>能及時監控廠區中的各個角落，但若在事件</span><span lang="EN-US">/</span><span>事故發生時，無法在有限的時間可透過</span><span lang="EN-US">CCTV</span><span>影像回放被找到，其背後之意涵與其中蘊藏之巨大風險自是不言而喻，而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊，其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。</span></p> <p class="MsoListParagraph"><span lang="EN-US"><span>(1)<span> </span></span></span><span>自動化生產線與自動倉儲：半導體企業之自動化生產線與自動倉儲中常有</span><span lang="EN-US">AGV</span><span>（</span><span lang="EN-US">Automated Guided Vehicle</span><span>）無人車高速行駛，若有廠區人員不慎誤入</span><span lang="EN-US">AGV</span><span>移動區域且無法對該人員發出警告，則當憾事發生將追悔莫及。</span></p> <p class="MsoListParagraph"><span lang="EN-US"><span>(2)<span> </span></span></span><span>材料與產品存放區域：半導體相關製程之材料價值不菲，若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。</span></p> <p class="MsoListParagraph"><span lang="EN-US"><span>(3)<span> </span></span></span><span>高機密管制區：營業秘密關乎半導體相關企業之核心技術競爭力，若有人員侵入高機密管制區則有企業營業秘密外洩之風險，而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。</span></p> <p class="MsoListParagraph"><span lang="EN-US"><span>(4)<span> </span></span></span><span>卸貨碼頭區：日月光</span><span lang="EN-US">L</span><span>但</span><span lang="EN-US">!</span><span>碼頭區常有卸貨車輛進出，若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後，貨物倒塌造成損毀，因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。</span></p> <p align="center" class="MsoNormal"><strong><span>異常事件發生時，如何在海量數據中，快速搜尋符合條件的關鍵影像</span></strong></p> <p class="MsoNormal"><span>日月光高雄廠有許多重要的場域都需要架設</span><span lang="EN-US">CCTV</span><span>為安全把關，但</span><span lang="EN-US">CCTV</span><span>的數量動輒上千支、上萬支，一旦發生事件要去搜索影像時，都要用人眼一一回放查找、搜索，耗時耗力效益不彰。有鑑於現今電腦視覺的發展，遂利用</span><span lang="EN-US">AI</span><span>來替代人眼回放查找。</span></p> <figure><img data-image-id="769" aria-label="問題情境" alt="問題情境" src="https://aihub.org.tw/images/68407e668fd6d8aa0794a44688accf4e.jpeg" title="問題情境" class="w-1/2 mx-auto"> <figcaption>問題情境</figcaption> </figure> <p align="center" class="MsoNormal"><strong><span>物件偵測</span></strong></p> <p class="MsoNormal"><span>物件偵測資料來源分成兩個部份</span><span lang="EN-US">: </span><span>開源資料集</span><span lang="EN-US">OIDv4</span><span>、以及日月光高雄廠</span><span lang="EN-US">CCTV</span><span>影像檔案。針對</span><span lang="EN-US">OIDv4</span><span>中，取出符合定義的九大類別物件訓練資料，其中有二類物件未能於</span><span lang="EN-US">OIDv4</span><span>中搜索到可用資料，分別為刀子與汽油桶，其餘七種類別物件皆可從</span><span lang="EN-US">OIDv4</span><span>中取出可用訓練資料，此訓練資料皆已有標記。而針對高雄廠</span><span lang="EN-US">CCTV</span><span>影像檔案，從中抽取部分幀（</span><span lang="EN-US">Frame</span><span>）的影像，並且對欲偵測的物件進行人工標記以做為訓練與測試資料。</span></p> <figure><img data-image-id="770" aria-label="九大物件" alt="九大物件" src="https://aihub.org.tw/images/f89a26306acb4acdb5a494149a9b7466.jpeg" title="九大物件" class="w-1/2 mx-auto"> <figcaption>九大物件</figcaption> </figure> <p align="center" class="MsoNormal"><strong><span>顏色辨識</span></strong></p> <p class="MsoNormal"><span>顏色辨識資料來源分成兩個部份</span><span lang="EN-US">:</span><span> 網路圖像截圖、以及高雄廠</span><span lang="EN-US">CCTV</span><span>影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集，因此只能從網路蒐集圖像，於網路上搜索符合定義的九大類別物件的圖像，儲存圖像後將物件與背景分割，只保留物件的區塊，最後將圖像依照顏色做類別標記。另外針對高雄廠</span><span lang="EN-US">CCTV</span><span>影像檔案，則使用物件偵測資料已標記好的</span><span lang="EN-US">bounding box</span><span>擷取</span><span lang="EN-US">CCTV</span><span>影像檔案中各個</span><span lang="EN-US">Frame</span><span>的物件所在區塊之圖像，最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義，各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。</span></p> <p align="center" class="MsoNormal"><strong><span>動態忽略免除混淆訓練</span></strong></p> <p class="MsoNormal"><span>從</span><span lang="EN-US">OIDv4</span><span>訓練專案的物件偵測雛型模型時，因為此資料集的每張影像中，皆只有針對單一類別做標記，但影像中有可能包含其他欲偵測之類別未被標記，故針對此種情況，訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來</span><span lang="EN-US">Fine-Tune</span><span>雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。</span></p> <figure><img data-image-id="771" aria-label="動態忽略" alt="動態忽略" src="https://aihub.org.tw/images/c513466d744a1a225299e414ccd36411.jpeg" title="動態忽略" class="w-1/2 mx-auto"> <figcaption>動態忽略</figcaption> </figure> <p align="center" class="MsoNormal"><strong><span lang="EN-US">AI</span></strong><strong><span>幫你看</span></strong></p> <p class="MsoNormal"><span lang="EN-US">CCTV </span><span>智能影像搜索系統主要是做為監控影像的搜尋輔助系統，可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能，僅需定義搜尋條件，即可快速產出關鍵物件的縮圖影片並進行回放確認，縮短昔日以人工調閱案件所須時間，查找時間快</span><span lang="EN-US">6</span><span>倍，前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。</span></p> </td> </tr> </tbody> </table> </div>
<div><span>查找某特定人物，尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定，人物藍黑色上衣，行李箱顏色黑色，透過</span><span lang="EN-US">CCTV </span><span>智能影像搜索系統，做物件與顏色檢索條件設定，可以成功搜尋到三段縮圖有出現關鍵標的影片，可以有效解決作業人員查找物件標的物，透過此系統查詢速度可比人工快</span><span lang="EN-US">6</span><span>倍。</span></div> <div> <table cellpadding="0" cellspacing="0" width="100%" border="1" class="MsoTableGrid"> <tbody> <tr> <td width="100%" valign="top"> <p align="center" class="MsoNormal"><strong><span>需求痛點</span></strong></p> <p class="MsoNormal"><span>日月光高雄廠區內密布</span><span lang="EN-US">CCTV</span><span>能及時監控廠區中的各個角落，但若在事件</span><span lang="EN-US">/</span><span>事故發生時，無法在有限的時間可透過</span><span lang="EN-US">CCTV</span><span>影像回放被找到，其背後之意涵與其中蘊藏之巨大風險自是不言而喻，而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊，其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。</span></p> <p class="MsoListParagraph"><span lang="EN-US"><span>(1)<span> </span></span></span><span>自動化生產線與自動倉儲：半導體企業之自動化生產線與自動倉儲中常有</span><span lang="EN-US">AGV</span><span>（</span><span lang="EN-US">Automated Guided Vehicle</span><span>）無人車高速行駛，若有廠區人員不慎誤入</span><span lang="EN-US">AGV</span><span>移動區域且無法對該人員發出警告，則當憾事發生將追悔莫及。</span></p> <p class="MsoListParagraph"><span lang="EN-US"><span>(2)<span> </span></span></span><span>材料與產品存放區域：半導體相關製程之材料價值不菲，若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。</span></p> <p class="MsoListParagraph"><span lang="EN-US"><span>(3)<span> </span></span></span><span>高機密管制區：營業秘密關乎半導體相關企業之核心技術競爭力，若有人員侵入高機密管制區則有企業營業秘密外洩之風險，而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。</span></p> <p class="MsoListParagraph"><span lang="EN-US"><span>(4)<span> </span></span></span><span>卸貨碼頭區：日月光</span><span lang="EN-US">L</span><span>但</span><span lang="EN-US">!</span><span>碼頭區常有卸貨車輛進出，若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後，貨物倒塌造成損毀，因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。</span></p> <p align="center" class="MsoNormal"><strong><span>異常事件發生時，如何在海量數據中，快速搜尋符合條件的關鍵影像</span></strong></p> <p class="MsoNormal"><span>日月光高雄廠有許多重要的場域都需要架設</span><span lang="EN-US">CCTV</span><span>為安全把關，但</span><span lang="EN-US">CCTV</span><span>的數量動輒上千支、上萬支，一旦發生事件要去搜索影像時，都要用人眼一一回放查找、搜索，耗時耗力效益不彰。有鑑於現今電腦視覺的發展，遂利用</span><span lang="EN-US">AI</span><span>來替代人眼回放查找。</span></p> <figure><img data-image-id="769" aria-label="問題情境" alt="問題情境" src="https://aihub.org.tw/images/68407e668fd6d8aa0794a44688accf4e.jpeg" title="問題情境" class="w-1/2 mx-auto"> <figcaption>問題情境</figcaption> </figure> <p align="center" class="MsoNormal"><strong><span>物件偵測</span></strong></p> <p class="MsoNormal"><span>物件偵測資料來源分成兩個部份</span><span lang="EN-US">: </span><span>開源資料集</span><span lang="EN-US">OIDv4</span><span>、以及日月光高雄廠</span><span lang="EN-US">CCTV</span><span>影像檔案。針對</span><span lang="EN-US">OIDv4</span><span>中，取出符合定義的九大類別物件訓練資料，其中有二類物件未能於</span><span lang="EN-US">OIDv4</span><span>中搜索到可用資料，分別為刀子與汽油桶，其餘七種類別物件皆可從</span><span lang="EN-US">OIDv4</span><span>中取出可用訓練資料，此訓練資料皆已有標記。而針對高雄廠</span><span lang="EN-US">CCTV</span><span>影像檔案，從中抽取部分幀（</span><span lang="EN-US">Frame</span><span>）的影像，並且對欲偵測的物件進行人工標記以做為訓練與測試資料。</span></p> <figure><img data-image-id="770" aria-label="九大物件" alt="九大物件" src="https://aihub.org.tw/images/f89a26306acb4acdb5a494149a9b7466.jpeg" title="九大物件" class="w-1/2 mx-auto"> <figcaption>九大物件</figcaption> </figure> <p align="center" class="MsoNormal"><strong><span>顏色辨識</span></strong></p> <p class="MsoNormal"><span>顏色辨識資料來源分成兩個部份</span><span lang="EN-US">:</span><span> 網路圖像截圖、以及高雄廠</span><span lang="EN-US">CCTV</span><span>影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集，因此只能從網路蒐集圖像，於網路上搜索符合定義的九大類別物件的圖像，儲存圖像後將物件與背景分割，只保留物件的區塊，最後將圖像依照顏色做類別標記。另外針對高雄廠</span><span lang="EN-US">CCTV</span><span>影像檔案，則使用物件偵測資料已標記好的</span><span lang="EN-US">bounding box</span><span>擷取</span><span lang="EN-US">CCTV</span><span>影像檔案中各個</span><span lang="EN-US">Frame</span><span>的物件所在區塊之圖像，最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義，各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。</span></p> <p align="center" class="MsoNormal"><strong><span>動態忽略免除混淆訓練</span></strong></p> <p class="MsoNormal"><span>從</span><span lang="EN-US">OIDv4</span><span>訓練專案的物件偵測雛型模型時，因為此資料集的每張影像中，皆只有針對單一類別做標記，但影像中有可能包含其他欲偵測之類別未被標記，故針對此種情況，訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來</span><span lang="EN-US">Fine-Tune</span><span>雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。</span></p> <figure><img data-image-id="771" aria-label="動態忽略" alt="動態忽略" src="https://aihub.org.tw/images/c513466d744a1a225299e414ccd36411.jpeg" title="動態忽略" class="w-1/2 mx-auto"> <figcaption>動態忽略</figcaption> </figure> <p align="center" class="MsoNormal"><strong><span lang="EN-US">AI</span></strong><strong><span>幫你看</span></strong></p> <p class="MsoNormal"><span lang="EN-US">CCTV </span><span>智能影像搜索系統主要是做為監控影像的搜尋輔助系統，可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能，僅需定義搜尋條件，即可快速產出關鍵物件的縮圖影片並進行回放確認，縮短昔日以人工調閱案件所須時間，查找時間快</span><span lang="EN-US">6</span><span>倍，前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。</span></p> </td> </tr> </tbody> </table> </div>
