:::

【108年 應用案例】 智慧農漁業數位分身:一個高效率、永續經營的農漁業升級解決方案。養殖漁業如何靠著稱為「數位分身」的AI 技術達成三倍產量?

靠著九種感知器偵測水質、以及監控養殖物生長狀況和漁民行為決策,「智慧農漁業數位分身」人工智慧解決方案,可以大幅增加產量至 300%。「開心農場」式的高科技整合的解決方案,可以讓新手也快速上手,農漁業可以大幅降低對於經驗的倚賴,增加年輕人回鄉加入農漁業的誘因。

曾經有一段時間,FB遊戲剛剛開始流行的時候,因為「開心農場」這個熱門遊戲,可以說是人人皆農夫。上班族中午休息時間一一拿出手機,開始了手機上的快樂農夫生活。有些人還調皮,上班時間偷偷連上 FB ,偷了同事的菜。由於這個遊戲實在太療癒,有些人還真的就踏入真正的農田,當個小小的假日農夫。如果說,「開心農場」真實存在,你相信嗎?由資策會服創所領頭開發的「數位分身」-「智慧溫室」以及「智慧養殖場」解決方案,就是貨真價實存在的「開心農場」、「開心水族箱」。

在這裡,基於 IoT 的 9 大感知器,會持續監測水質等作物 / 養殖物生長環境的「設施因子」,並且透過控制盒上傳雲端。而雲端中的 AI 機器人會在系統內持續模擬出一個數位的分身,在收到外部的水溫、溶氧量等等「設施因子」、以及持續蒐集作物 / 養殖物生長狀況的「生長因子」,雲端系統裡面創造出一個模擬的養殖漁民的「數位分身」,AI 機器人也會按照過往漁民的成功策略來運算出合適的「行為決策」。

在含氧量低、水溫超標等等情況下, AI 會建議你開水車、開增氧機,或是用藥等等行為決策,漁民則可以考慮自己的經驗或是知識,再判斷是否要採用。事後,系統也會比較判斷結果,漁民也可以就結果來判斷,究竟是真人的決策比較厲害,還是「數位分身」的行為決策比較厲害。

除此之外,智慧農業的數位分身AI ,在背景也是 24 小時運作不打烊,它默默的紀錄並且分析養殖漁民在智慧養殖場中針對各種「設施因子」以及「生長因子」的對應「行為決策」,由此慢慢的建立起養殖策略的最佳解模型。慢慢的, AI 像是個小學徒,在漁民身邊默默的學習這些「隱性知識」,使得這些知識不會因為漁民退休而失傳。

不僅如此,除了「種魚」還可以利用同樣的技術方案去「種菜」,這些最佳化養殖 / 種植模型可以成為珍貴的資料庫,即使是剛入行的新手,也可以跳過摸索的過程,直接成為大師。

三難一貴,是目前最大的挑戰:人力不足、老年化、經驗失傳三大難,新科技導入貴

台灣農業技術、養殖技術都聞名全球,然而小農結構普遍都有人力不足、老年化的趨勢,數位轉型勢在必行。然而,要導入新技術的成本,是 80% 的小農小漁都負擔不起的。由於環境因素有太多不確定因素,如氣候的變遷、水質變化等等,都高度倚賴經驗來處理。因此,最嚴峻的挑戰,來自於農漁民退休而年輕農漁民又不及接班,多年的經驗因無法傳承而失傳。

智慧農漁業數位分身,持續最佳化不停機

「數位分身」是一個結合 AI 人工智慧,與 HI 工匠智慧的新興技術,國際研究機構 Gartner 連續三年將其評為全球未來關鍵十大技術之一。經濟部技術處在 2016 年就開始布局數位分身的研發,認為領域產業除了自動化效率之外,同時也需要將各產業的經驗技藝數位保存下來,建構 AI 與 HI 交互學習與最佳化的人機協同技術。以水產養殖這個領域來說,透過「魚電共生魚塭」的 AIoT (人工智慧物聯網 Artificial Internet of Things)的「數位分身」,將漁民的種種隱性知識數位化。利用各種水質數據所建構出的「設施因子」、魚、蝦體影像的影像資料、病徵影像等等的「生長因子」各種數位資料的分析,加上養殖漁民的「行為決策」來訓練 AI 人工智慧,可以得出水質管理、水產生長管理、水產疾病管理等等最佳化模型。

「魚電共生魚塭」的 AIoT (人工智慧物聯網 Artificial Internet of Things)的「數位分身」,將漁民的種種隱性知識數位化。

▲「魚電共生魚塭」的 AIoT (人工智慧物聯網 Artificial Internet of Things)的「數位分身」,將漁民的種種隱性知識數位化。(示意圖來源:台鹽綠能股份有限公司委託三奕設計顧問有限公司設計)

將這些 AI 管理模型組合起來,就成為了高存活率、高換肉率的智慧養殖解決方案。養殖的整個過程都有數位化的監控資料、品質可分析、而且產銷履歷甚至可以回溯至養殖初期,藉以大幅提升水產品質、價值以及產量。

雖然前景看好,但是仍然有著重重挑戰

資策會服創所與「數位分身」的緣份,是由 2018 年時經濟部技術處支持的前瞻科技專案開始。當時技術處認為各領域產業除了自動化效率之外,也需數位保存領域產業的工藝知識,用以建構 AI 與 HI 交互學習與最佳化的人機協同技術。

後來,行政院農委會農業試驗所接續支持「數位分身」在智慧農業當中的應用。「數位分身技術應用在農業,協助小農經驗數位化積累,並透過群體經驗與人工智慧交互作用,精進農業技藝,解決農業智慧化最大挑戰」。在農業場域當中的「智慧農業數位分身技術」,在產品化之後預期可以提高生產效率 30% ,可以說是前景相當看好。

邱璟明組長受訪圖
▲邱璟明組長:「厲害的漁民所作的行為決策,以結果論,硬是要比一般的漁民還要強三倍。」 
 

Digital Twin: Aqua-Solution

Digital Twin: Aqua-Solution

後來,與科技養殖產業業者合作,共同獲得經濟部工業局的業界計畫支持,資策會服創所才將數位分身的技術應用在「智慧漁塭」的場域當中。負責養殖漁業的場域應用團隊指出,「在養殖漁塭當中,漁民在面對各種環境改變時的行為決策,往往是不同的。其中,厲害的漁民所作的行為決策,以結果論,硬是要比一般的漁民還要強三倍,例如白蝦的存活率,一般的平均是 10% 左右,有些漁民就是可以獲得 30% 的高水準產量。如此一來,生產成本降低,賺的錢也是原本的三倍。

數位分身的技術,就是可以將這些達人的隱性知識傳承下來,最終推動整個產業的升級。」

9大感知器、魚體影像以及漁民行為決策組合而成的「數位分身」

為了取得各種養殖場的環境數據,服創所採用了包括了有溶氧、水溫、酸鹼度、鹽度、濁度、氨氮、硝酸鹽、葉綠素 a、ORP (Oxidation-Reduction Potential)氧化還原電位等九大感知器來監控水質,這些又被稱為「設施因子」。

另外,漁民也會定期把魚、蝦從池中撈上來,或是透過沉水攝影機拍攝水下的養殖物影像。藉以得知目前養殖物的大小,來了解生長狀況,這又被稱為「成長因子」。

智慧養殖設施示意圖

▲ 「設施因子」、「成長因子」再加上漁民在不同情境下會採取的「行為決策」,就可以在雲端伺服器裡面創造一個虛擬的「數位分身」。(示意圖來源:台鹽綠能股份有限公司委託三奕設計顧問有限公司設計) 

有了這兩個因子,在加上漁民在不同情境下會採取的「行為決策」,就可以在雲端伺服器裡面創造一個虛擬的「數位分身」。

在這個好像遊戲一樣的「數位分身」中,我們可以盡情的模擬,藉以找尋不同「設施因子」下,最佳的「行為決策」,藉以取得最佳化的「成長因子」。

換一個比較容易理解的說法,各位讀者不妨想像我們現在有個「開心漁塭」遊戲軟體。其中,漁塭的各種環境參數,都是由真實情況所記錄下來的。我們也紀錄下每個「開心漁塭」玩家在不同環境參數下所做出的行為決策以及最終的成果。當紀錄下來的資料組數量夠多,得到 ML 機器學習( Machine Learning)而來的魚塭數位分身模型,再經由即時數據進行模擬,就可以找出各種最佳化組合。而這個模擬世界,就是「開心漁塭」的「數位分身」。

感知器容易損壞,如何解決?

然而,研發的過程總是有些挑戰。例如水下的感知器如水溫和溶氧感知器,經常由於藻類增生而損壞。水下紀錄魚體大小的攝影機,也經常因為池底泥沙或藻類污染而模糊不清,無法辨識。

為了克服這些感知器的損壞問題,有兩個方案,一是定期從池中打水上來經過感知器來偵測,二是將感知器製作成一個盒子,每天定期泡入養殖池當中用以偵測水質。

至於魚體和蝦體的生長狀況,只需要漁民每日定期打撈上來拍照量測即可。成本低而且有效。

服創所的邱組長說:「這些感知器的損壞問題,是個成本問題,雖然說帶來的效益很高,但是若成本太高,漁民不願意採納也失去意義了。我們目前正在研發 9 合 1 的水質偵測盒子,成功整合完成之後,就可以準備量產,並且以銷售盒子加上連線月租費的方式來商業運作。我們目前已經非常接近完成整合,非常歡迎廠商來洽談合作」

漁民行為決策難以紀錄的困難

另外一個挑戰來自於漁民,部份漁民會自覺的紀錄每天觀察的水質以及環境指標,並且紀錄自己的操作策略和結果。但是,並不是每個漁民都會這樣操作,這時候,就需要引進 AI 人工智慧當中相當重要的 GAN (Generative adversarial network 生成對抗網路)技術。

GAN 會依據過去的資料,生成漁民的可能策略,也就是「猜」漁民的決策,用以補足漁民沒有輸入的行為決策。若是事後得到漁民補完,也不影響訓練資料集。

得獎技術量產化之後, 300%的生產效率不再是遙不可及

「數位分身」技術目前全球應用案例多運用於航太、製造業,目前只有台灣與荷蘭率先投入數位分身在智慧農業的研發。因此,「智慧農業數位分身」獲美國 R&D全球百大科技研發獎也是國內技術領先的證明。目前正在完成整合的水質監控盒以及整套解決方案,在產品化後預期提高生產效率 300%。

未來「數位分身」技術不只是可以應用於農業和養殖漁業當中,還可以擴展至原本仰賴「隱性知識」的產業當中,如製茶、漁業等等。由於全程數據化,品質不再是靠著經驗以及「看天吃飯」。藉此,可以提高農民的「智慧化監控」和「精準化生產」科技層次,除了提昇傳統農漁業的生產力,也很有機會達成永續經營,促成整個產業升級,提昇年輕人回鄉參與農漁業的誘因。

參考資料:智慧製造的關鍵拼圖!加速「數位分身」實現的創新感測技術-數位時代

推薦案例

這是一張圖片。 This is a picture.
測試座接觸元件 AI 智能瑕疵檢測

在 5G、AIOT、汽車電子等下游發展迅速,全產業鏈有望受益於此消費市場。在產品需求動能逐漸增加的情況之下,提高生產效率與降低作業成本成為最重要的課題。為符合客戶各封裝產品類型的需求,穎崴科技一直致力於研發高度客製化測試座,但衍伸的作業痛點則是無法大批量與機台全自動化的作業,部分作業仍需依賴人工執行。 在本案 2021 年時測試座探針部分是委外製造,對現行與未來的大量需求下工時、成本、供給、品質是穎崴需面臨的課題。nbsp因探針的體積較小且材質屬於金屬類型,在現行人力目檢下需花上較多的時間調整焦距、亮度等以確保能看得清晰並判斷,而判斷標準會因人而異,容易因主觀意識或人員目檢疲勞產生誤判、作業疏失,導致不良品未檢出、流入客戶端手中,使客戶使用本公司的測試座產生誤判結果,導致客戶產品功能失效等問題,進而影響本公司的商譽。 本公司在接觸元件檢測良率為 9995,看似高良率,但以一個品檢人員平均一天能檢測 1 萬根針,不良品就有 5 根針,在僅 3 公分長寬的測試座上約有 1 千根針,只要有一根不良針可能導致客戶端測試不良。因現有作業模式為人力目檢,當外在因子若為人員疲勞,人員作業疏失,人員非量化判定即有可能造成不良品流出,因此接觸元件的品質必須嚴格把關。 nbsp曾尋求以光學檢測Rule-based進行外觀品質控管,但接觸元件材質為金屬製,對光線會產生射散、背景雜訊干涉、背景刮痕、材質等因素可能造成誤判,因而找到在 AI 技術方面的資服業者來解決我們的檢測難處。 開發 AOI 專用線掃設備 nbsp為了達成本公司 IC 測試座內動輒數千上萬支探針檢測需求,若以傳統面型取像與逐針取像,勢必因取像速度慢無法達到快速檢測以及節約人力的目標。針對此點,資服業者提出可試用 AOI 專用線掃模組方案,以 X 軸 63mm 為面寬,往復掃描測試座上的所有探針,經測試可一次掃描 89 支探針如下圖,大幅提升未來 AOI 機台的檢測效率。nbsp本案將進行上述創新的概念驗證POC,重點於線掃描設備的開發,針對本公司所提供的正常與異常探針進行取像、學習、訓練,先以逐針取像,訓練初步 AI 模型為驗證目標,以達初步認可。 本案客製化開發的線掃描取像模組 未來理想取像結果示意圖 以單一 AI 技術方案解決量檢測需求 nbsp統一以 AI DL CNN 學習方式,取代現行 Rule based 需逐一定義瑕疵,為滿足磨耗的量測需求與缺損異物的外觀瑕疵檢測需求,如機台同時採用採量測檢測兩套技術,除了成本增加外,亦影響檢測速度,則資服業者建議以線掃描設備取像,其解析度足以由 AI 同時判定外觀瑕疵及以大小圓點判斷針頂磨耗狀況,詳如下圖。 以線掃描像素方式,呈現針頂磨耗情形 nbsp依此 AI 檢測技術能符合穎崴的量測與檢測兩項需求,不僅在未來探針檢測上帶來更多的效益,也在 AI 技術方面帶來創新主軸。 改變人檢方式,提升工作效率與產品品質 經以上述硬軟雙劍合璧後線掃描硬體AI 軟體模式訓練,成功挑戰了 AOI 新興檢測應用,經本案 AI 落地 POC 驗證後,包含客製化線掃描模組及初步 AI 模型開發、驗證,計畫明年正式開發 AOI 機台,並導入 IC 測試座生產線。 未來展望 IC 測試座上游探針業者及下游 IC 廠使用者對 AOI 檢測機台均有需求,上游可確保探針出廠品質,下游使用者則可利用本機台定期檢測手中諸多 IC 測試座使用狀況,對未來需求勢必殷切,故本計畫 AOI 機台對 IC 測試產業於可見的未來必將造成極為正面的影響。

這是一張圖片。 This is a picture.
AI輔助紅十字會 急難救助更智慧

多一點準備 少一點損失 社團法人台灣食物銀行聯合會,每日收集來自全台各地量販店、中盤商、零售商、製造商、甚至善心人士捐贈的愛心物資,也會搶救即將被丟棄的可食用物資,進行妥善調配並配送至需求的愛心戶手上,幫助在地弱勢邊緣戶。 當台灣發生天然災害時,如地震、山崩、土石流、颱風、水災、旱災等,食物銀行的各項物資,也可即刻投入救災。本次場域驗證單位社團法人南投縣紅十字會食物銀行據點之一,以下簡稱南投紅十字會承擔「備災」物資預前準備、「救災」物資分配等工作,協助政府擔負起災變的救助與賑濟的責任。 在臺灣各項天災均具有發生時間長短和空間覆蓋廣闊或狹隘的特性,加上極端氣候常態化,災害規模與數量逐漸增加,也更難預測。而不同災情所需的物資數量和種類皆有不同,且須應對不同災區人民生活、救援需要、交通狀況、地形限制等各項因素,進行多樣化的物資調配,亦面臨諸多挑戰。 卡努颱風重創南投山區交通 法治國小親愛村奧萬大進行物資遞送" src"httpsaihuborgtwimages35f4ec12f8201e1d7cb12e2f22a64c89jpeg" alt"南投縣紅十字會規劃山區路線 埔里法治國小親愛村奧萬大進行物資遞送" aria-label"南投縣紅十字會規劃山區路線 埔里法治國小親愛村奧萬大進行物資遞送" data-image-id"748" 南投縣紅十字會規劃山區路線 埔里法治國小親愛村奧萬大進行物資遞送 災難不斷反覆發生,我們需要時刻做好準備,有效「備災」可減緩災害所造成的衝擊,除了快速應對災區物資需求、賑濟物資,甚至可起到心理支持作用,使災區人民多一層生命財產的保障。 救災資訊缺乏即時性 社團法人台灣食物銀行聯合會為改善偏鄉生活及物資缺乏問題,除了與南投紅十字會合作,並陸續於南投市、埔里、仁愛力行、瑞岩、信義望美、同富、水里、鹿谷及草屯等共9站設立食物銀行據點,每月載運每戶等值新台幣6001000元之物資供應。但在天然災害發生時,仍有許多問題需要克服。 例如當颱風、地震、山崩等天災發生時,救災調度系統的資訊來源依賴於災害發生後的回報,從回報到應變再到執行過程中的時間差,無法及時以災區需求進行「救災」物資調整和分配,資訊缺乏即時性時,就會影響救援效率。 南投紅十字會的「備災」物資如乾糧、水、泡麵等存量、有效期限、發給都是以人力來紀錄,當災害發生時,可能面臨「備災」物資已過期,無法成為「救災」物資。 也有可能前述兩種狀況同時發生 造成花費更多時間把「備災」物資重新調配成可用「救災」物資。另一方面,民眾接到災區缺乏物資的訊息後,熱心捐贈的物資,時常與災區實際需求的物資品項差異甚大,容易造成物資過剩問題。 天災發生前後之物資作業流程 AI預判天災 補強備災物資調度正確性 應用 API 技術介接運算氣候狀態、災況搶救強度,並將南投紅十字會主要工作與搜救之需求地區為優先導入,並搭配南投紅十字會既有豪雨、颱風等模擬救災訓練,建立「天然災害緊急救備物資調度及補充決策系統」以下稱急救備物資系統。 在物資管理上,將物資庫存資料與即時供給的資料輸入急救備物資系統,進行比對分析後,協助南投紅十字會快速辨認物資,如餅乾乾糧、飲品、冷凍食品、衛生紙等,並判斷物資應成為「備災」物資或定期發放的物資。再加上資訊預判,了解偏鄉地區後續可能的災情狀況,進行食物遞送,同時解決前端食物浪費並解決後端實務需求。當天災發生時,可更快速進行應變與決策,完成物資部屬,使物資作業轉換速度增加20。 AI急救備物資系統 幫助物資調配快速應變 透過南投紅十字會的場域驗證將AI系統、物資管理、相關應用推廣至更多不同地區的急救難團體,同時持續改進急救備物資系統中的預警功能,加強預警技術基礎、提高預測精度系統即時性、優化數據收集和分析過程。 同時可與政府機構、氣象部門或其他救援團隊合作,研討整合更多數據源後,建立共享資源和數據的機制,及時共享信息,幫助更多急救難團體提高災難應變的能力,掌握黃金救援時間。

這是一張圖片。 This is a picture.
CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGV(Automated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。 2 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區:日月光L但碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。