:::

【109年 應用案例】 AI智能配音模組,讓機器配音有溫度

因應時代趨勢,數位學習與移動教材受到廣泛重視!

隨著科技迅速演進,如何有效率地培育出能「因應發展變動」的專業人才,是許多企業不斷思考的重要課題。近年來許多企業為刺激外部的成長動能以及內部組織的驅動力,逐步將「數位學習」應用在員工培訓之中,以提升教育訓練效果,「數位學習」與「移動教材」因而受到廣泛重視。

委外配音成本高,且無法負荷大量需求

導入AI配音系統之數位教材製作流程前後差異

▲導入AI配音系統之數位教材製作流程前後差異

台灣戰略突破股份有限公司曾協助企業,將歷年公部門辦理的諸多研討會、實體課程及教育訓練活動,轉製作為數位教材;然而,在轉製作的過程中,除了需邀請老師、尋找並租借拍攝場地、錄音及影片後製外,在錄製過程中,可能因講師緊張、不習慣鏡頭、吃螺絲等因素,造成錄音品質不佳或不斷NG重錄的情況。

雖然有提供客戶教材配音的選擇,但委外配音成本高,且無法負荷大量需求。因此,希望導入AI語音合成技術,研發「智能配音模組」,即時將簡報上的文字,轉換為自然流暢、近似真人發音之語音檔,以節省人員配音的成本。

擬真人之智能配音模組,提供更多元之配音選擇

AI配音模組示意圖

▲AI配音模組示意圖

台灣戰略公司與AI技術團隊魔方數位有限公司合作,採用Tacotron2結合WaveNet及Tacotron的特性,將字元嵌入到梅爾刻度(Mel-scale)譜系圖中,然後由修正過的WaveNet模型作為vocoder,從這些聲譜圖中合成時域的波形,最終開發出MOS語音質量評測指標之評測分數近似真人之智能配音模組。

此AI智能配音模組經過測試者測試,以MOS語音質量評測指標為標準,得到評測分數為4.3,已達到計畫初始設定的目標值4.21,且高於Wavenet 4.08之評測分數,顯見成效卓越!

AI智能配音模組,成本降、利潤升,將有效提升台灣數位學習產業環境!

AI配音系統導入後之成本大幅降低,利潤相對提升

▲AI配音系統導入後之成本大幅降低,利潤相對提升

此AI智能配音模組,不僅可減少製作數位教材的成本,亦可解決我國產、官、學界在數位教材普及的困難,且能有效提升客戶製作數位教材之效率、大量減少人力缺口及成本結構風險,並提升獲利狀況。

台灣戰略公司後續也將持續研發「智能聽打模組」,並將導入自動化流程機器人(RPA),將數位教材製作過程中的上字幕、配音、轉檔等工作項目以自動化取代現有人工作業,協助國內數位學習產業轉型提升。

推薦案例

這是一張圖片。 This is a picture.
CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGV(Automated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。 2 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區:日月光L但碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。

【導入案例】維繫遊艇王國美譽 嘉信遊艇導入國內第一套FRP複材超音波智慧檢測
維繫遊艇王國美譽 嘉信遊艇導入國內第一套FRP複材超音波智慧檢測

位在高雄的嘉信遊艇,成立逾40年,是台灣最大客製化遊艇業者,客戶遍佈美、歐、亞、澳各洲,為臺灣贏得「亞洲遊艇王國」的美譽。為了解決目前FRP船體檢測仍仰賴傳統方法如人眼辨識、敲打辯聲,耗時費工問題,嘉信遊艇首度將PAUT 陣列式超音波檢測運用於船體FRP複材上,並結合AI判讀超音波影像,發展完整智慧化解決方案,創造檢測業新興市場。 嘉信遊艇前身是嘉信木業有限公司,剛成立時是間位於高雄市臨海工業園區專營木材進口的工廠,1977 年開始進行遊艇設計、製造與銷售。企業第二代接班人,即嘉信遊艇總經理龔俊豪進入公司後,打破過往仰賴老師傅功力為主的製造模式,引進數位化製作,加快造船速度,船也愈做愈大,多年排行世界24公尺以上大型遊艇前20大製造商。並創下在一年內交付94艘遊艇的紀錄,為臺灣贏得「亞洲遊艇王國」之美譽。 瑕疵檢測確保遊艇品質 以AI取代人力效益高 為確保遊艇品質,瑕疵檢測相當重要。目前遊艇業採取的瑕疵檢測方式仍十分傳統,通常以手積層或是真空灌注製程方式製造船殼結構,藉由人眼或是敲擊法依敲打聲音頻率來判別瑕疵,需要人工耗費時間檢查,如有瑕疵須重工修補,接續執行噴佈膠殼作業。為便於檢測,船體必須分段施工,以24公尺以上大型遊艇而言,分段施工非常耗時耗力。 為縮短遊艇製程之速度,嘉信遊艇會先將船殼進行膠殼流程,之後再執行手積層製程,船殼製程有兩種複合材料試片結構,以遊艇54呎船殼來看,船殼中內含膠殼、芯材、纖維、樹脂,總厚度約為32公分plusmn01cm,與未含有芯材的FRP船殼總厚度約16cmplusmn01cm相差一倍之多。製程中偶會有玻璃纖維含浸不完全,或是玻璃纖維與樹脂間殘留氣泡等瑕疵問題發生,瑕疵的種類則包含樹脂不足、空洞、層離等,一出現瑕疵情況,船殼材料就供應不上,拖延遊艇交貨時間。 玻璃纖維船殼瑕疵種類示意圖。 為解決此一問題,嘉信遊艇與金屬材料產業以及AI科技產業三方專業技術的相互合作,結合金屬材料產業的超音波檢測專業技術與AI科技產業近年發展的AI技術協助解決嘉信遊艇瑕疵判別的問題。作法是運用相位陣列式超音波檢測技術至遊艇複合材料結構,進行FRP超音波試掃評估,瞭解遊艇船殼積層層數厚度與材料特性,依據超音波專業經歷,評估船殼結構適用的超音波探頭頻率等資訊,經測試以頻率5MHz且探頭寬度為45mm的探頭設備,能成功找出模擬瑕疵試片中的瑕疵位置及大小。 三方合作從陣列超音波評估、AI技術模型開發及實船實證應用,獲得瑕疵檢測解決方案。 檢測影像為超音波信號影像,影像依據超音波回饋訊號呈現不同色彩,透過YOLO演算法,建構自動識別瑕疵的部位的AI模型。若異常資料蒐集程度不足以訓練,則預計採用 CNN-based Autoencoder 演算法,蒐集正常影像資料進行訓練,建構異常檢測的AI模型。物件偵測YOLO模型的訓練將輸入具有瑕疵標註的影像資料,異常檢測模型則是輸入沒有瑕疵的影像資料進行訓練。 模擬缺陷試片對應相位陣列超音波信號結果 AI系統瑕疵檢測 可縮短15個月工期 加快50判讀速度 此套AI系統建構完成後,運用至嘉信遊艇實船54呎遊艇進行驗證,可有效解決嘉信遊艇瑕疵之問題,並可望藉由 AI 技術導入超音波檢測進行智慧化判讀,約可加快50之判讀速度,同時縮短15個月的工期,有效提升遊艇製程時程與品質的效益。 當臺灣遊艇發展朝向大型化、精緻化型態之際,帶來產業優化與轉型的機會,以及發展關鍵技術的契機。複合材料超音波人工智慧檢測方案之應用為遊艇業界首創,預計可吸引更多有檢測需求之遊艇廠商。 複合材料超音波人工智慧檢測方案有三大競爭優勢: 1 專業檢測經驗及數位化資料庫,便利製程管理與分析。 2 人工智慧AI自動判讀與辨識,快速辨識瑕疵,即時回饋給製程工程師。 3 高效率製程流程檢測,提供瑕疵修復建議,降低損壞率,強化複合材料強度品質。 導入人工智慧技術應用後,可優化遊艇製程流程,減少人力檢查樹速度,達到臺灣遊艇應用人工智慧之加值效應,擴大國際訂單量,讓臺灣遊艇持續在國際間享有盛名。再者,此一商業模式也擴散至複合材料相關之應用領域,增加跨領域市場使用率,預估將貢獻全台灣設備維修及非破壞檢測市場約新台幣14至20億元的經濟效益。

這是一張圖片。 This is a picture.
AI輔助紅十字會 急難救助更智慧

多一點準備 少一點損失 社團法人台灣食物銀行聯合會,每日收集來自全台各地量販店、中盤商、零售商、製造商、甚至善心人士捐贈的愛心物資,也會搶救即將被丟棄的可食用物資,進行妥善調配並配送至需求的愛心戶手上,幫助在地弱勢邊緣戶。 當台灣發生天然災害時,如地震、山崩、土石流、颱風、水災、旱災等,食物銀行的各項物資,也可即刻投入救災。本次場域驗證單位社團法人南投縣紅十字會食物銀行據點之一,以下簡稱南投紅十字會承擔「備災」物資預前準備、「救災」物資分配等工作,協助政府擔負起災變的救助與賑濟的責任。 在臺灣各項天災均具有發生時間長短和空間覆蓋廣闊或狹隘的特性,加上極端氣候常態化,災害規模與數量逐漸增加,也更難預測。而不同災情所需的物資數量和種類皆有不同,且須應對不同災區人民生活、救援需要、交通狀況、地形限制等各項因素,進行多樣化的物資調配,亦面臨諸多挑戰。 卡努颱風重創南投山區交通 法治國小親愛村奧萬大進行物資遞送" src"httpsaihuborgtwimages35f4ec12f8201e1d7cb12e2f22a64c89jpeg" alt"南投縣紅十字會規劃山區路線 埔里法治國小親愛村奧萬大進行物資遞送" aria-label"南投縣紅十字會規劃山區路線 埔里法治國小親愛村奧萬大進行物資遞送" data-image-id"748" 南投縣紅十字會規劃山區路線 埔里法治國小親愛村奧萬大進行物資遞送 災難不斷反覆發生,我們需要時刻做好準備,有效「備災」可減緩災害所造成的衝擊,除了快速應對災區物資需求、賑濟物資,甚至可起到心理支持作用,使災區人民多一層生命財產的保障。 救災資訊缺乏即時性 社團法人台灣食物銀行聯合會為改善偏鄉生活及物資缺乏問題,除了與南投紅十字會合作,並陸續於南投市、埔里、仁愛力行、瑞岩、信義望美、同富、水里、鹿谷及草屯等共9站設立食物銀行據點,每月載運每戶等值新台幣6001000元之物資供應。但在天然災害發生時,仍有許多問題需要克服。 例如當颱風、地震、山崩等天災發生時,救災調度系統的資訊來源依賴於災害發生後的回報,從回報到應變再到執行過程中的時間差,無法及時以災區需求進行「救災」物資調整和分配,資訊缺乏即時性時,就會影響救援效率。 南投紅十字會的「備災」物資如乾糧、水、泡麵等存量、有效期限、發給都是以人力來紀錄,當災害發生時,可能面臨「備災」物資已過期,無法成為「救災」物資。 也有可能前述兩種狀況同時發生 造成花費更多時間把「備災」物資重新調配成可用「救災」物資。另一方面,民眾接到災區缺乏物資的訊息後,熱心捐贈的物資,時常與災區實際需求的物資品項差異甚大,容易造成物資過剩問題。 天災發生前後之物資作業流程 AI預判天災 補強備災物資調度正確性 應用 API 技術介接運算氣候狀態、災況搶救強度,並將南投紅十字會主要工作與搜救之需求地區為優先導入,並搭配南投紅十字會既有豪雨、颱風等模擬救災訓練,建立「天然災害緊急救備物資調度及補充決策系統」以下稱急救備物資系統。 在物資管理上,將物資庫存資料與即時供給的資料輸入急救備物資系統,進行比對分析後,協助南投紅十字會快速辨認物資,如餅乾乾糧、飲品、冷凍食品、衛生紙等,並判斷物資應成為「備災」物資或定期發放的物資。再加上資訊預判,了解偏鄉地區後續可能的災情狀況,進行食物遞送,同時解決前端食物浪費並解決後端實務需求。當天災發生時,可更快速進行應變與決策,完成物資部屬,使物資作業轉換速度增加20。 AI急救備物資系統 幫助物資調配快速應變 透過南投紅十字會的場域驗證將AI系統、物資管理、相關應用推廣至更多不同地區的急救難團體,同時持續改進急救備物資系統中的預警功能,加強預警技術基礎、提高預測精度系統即時性、優化數據收集和分析過程。 同時可與政府機構、氣象部門或其他救援團隊合作,研討整合更多數據源後,建立共享資源和數據的機制,及時共享信息,幫助更多急救難團體提高災難應變的能力,掌握黃金救援時間。