:::

【108年 應用案例】 智慧農漁業數位分身:一個高效率、永續經營的農漁業升級解決方案。養殖漁業如何靠著稱為「數位分身」的AI 技術達成三倍產量?

靠著九種感知器偵測水質、以及監控養殖物生長狀況和漁民行為決策,「智慧農漁業數位分身」人工智慧解決方案,可以大幅增加產量至 300%。「開心農場」式的高科技整合的解決方案,可以讓新手也快速上手,農漁業可以大幅降低對於經驗的倚賴,增加年輕人回鄉加入農漁業的誘因。

曾經有一段時間,FB遊戲剛剛開始流行的時候,因為「開心農場」這個熱門遊戲,可以說是人人皆農夫。上班族中午休息時間一一拿出手機,開始了手機上的快樂農夫生活。有些人還調皮,上班時間偷偷連上 FB ,偷了同事的菜。由於這個遊戲實在太療癒,有些人還真的就踏入真正的農田,當個小小的假日農夫。如果說,「開心農場」真實存在,你相信嗎?由資策會服創所領頭開發的「數位分身」-「智慧溫室」以及「智慧養殖場」解決方案,就是貨真價實存在的「開心農場」、「開心水族箱」。

在這裡,基於 IoT 的 9 大感知器,會持續監測水質等作物 / 養殖物生長環境的「設施因子」,並且透過控制盒上傳雲端。而雲端中的 AI 機器人會在系統內持續模擬出一個數位的分身,在收到外部的水溫、溶氧量等等「設施因子」、以及持續蒐集作物 / 養殖物生長狀況的「生長因子」,雲端系統裡面創造出一個模擬的養殖漁民的「數位分身」,AI 機器人也會按照過往漁民的成功策略來運算出合適的「行為決策」。

在含氧量低、水溫超標等等情況下, AI 會建議你開水車、開增氧機,或是用藥等等行為決策,漁民則可以考慮自己的經驗或是知識,再判斷是否要採用。事後,系統也會比較判斷結果,漁民也可以就結果來判斷,究竟是真人的決策比較厲害,還是「數位分身」的行為決策比較厲害。

除此之外,智慧農業的數位分身AI ,在背景也是 24 小時運作不打烊,它默默的紀錄並且分析養殖漁民在智慧養殖場中針對各種「設施因子」以及「生長因子」的對應「行為決策」,由此慢慢的建立起養殖策略的最佳解模型。慢慢的, AI 像是個小學徒,在漁民身邊默默的學習這些「隱性知識」,使得這些知識不會因為漁民退休而失傳。

不僅如此,除了「種魚」還可以利用同樣的技術方案去「種菜」,這些最佳化養殖 / 種植模型可以成為珍貴的資料庫,即使是剛入行的新手,也可以跳過摸索的過程,直接成為大師。

三難一貴,是目前最大的挑戰:人力不足、老年化、經驗失傳三大難,新科技導入貴

台灣農業技術、養殖技術都聞名全球,然而小農結構普遍都有人力不足、老年化的趨勢,數位轉型勢在必行。然而,要導入新技術的成本,是 80% 的小農小漁都負擔不起的。由於環境因素有太多不確定因素,如氣候的變遷、水質變化等等,都高度倚賴經驗來處理。因此,最嚴峻的挑戰,來自於農漁民退休而年輕農漁民又不及接班,多年的經驗因無法傳承而失傳。

智慧農漁業數位分身,持續最佳化不停機

「數位分身」是一個結合 AI 人工智慧,與 HI 工匠智慧的新興技術,國際研究機構 Gartner 連續三年將其評為全球未來關鍵十大技術之一。經濟部技術處在 2016 年就開始布局數位分身的研發,認為領域產業除了自動化效率之外,同時也需要將各產業的經驗技藝數位保存下來,建構 AI 與 HI 交互學習與最佳化的人機協同技術。以水產養殖這個領域來說,透過「魚電共生魚塭」的 AIoT (人工智慧物聯網 Artificial Internet of Things)的「數位分身」,將漁民的種種隱性知識數位化。利用各種水質數據所建構出的「設施因子」、魚、蝦體影像的影像資料、病徵影像等等的「生長因子」各種數位資料的分析,加上養殖漁民的「行為決策」來訓練 AI 人工智慧,可以得出水質管理、水產生長管理、水產疾病管理等等最佳化模型。

「魚電共生魚塭」的 AIoT (人工智慧物聯網 Artificial Internet of Things)的「數位分身」,將漁民的種種隱性知識數位化。

▲「魚電共生魚塭」的 AIoT (人工智慧物聯網 Artificial Internet of Things)的「數位分身」,將漁民的種種隱性知識數位化。(示意圖來源:台鹽綠能股份有限公司委託三奕設計顧問有限公司設計)

將這些 AI 管理模型組合起來,就成為了高存活率、高換肉率的智慧養殖解決方案。養殖的整個過程都有數位化的監控資料、品質可分析、而且產銷履歷甚至可以回溯至養殖初期,藉以大幅提升水產品質、價值以及產量。

雖然前景看好,但是仍然有著重重挑戰

資策會服創所與「數位分身」的緣份,是由 2018 年時經濟部技術處支持的前瞻科技專案開始。當時技術處認為各領域產業除了自動化效率之外,也需數位保存領域產業的工藝知識,用以建構 AI 與 HI 交互學習與最佳化的人機協同技術。

後來,行政院農委會農業試驗所接續支持「數位分身」在智慧農業當中的應用。「數位分身技術應用在農業,協助小農經驗數位化積累,並透過群體經驗與人工智慧交互作用,精進農業技藝,解決農業智慧化最大挑戰」。在農業場域當中的「智慧農業數位分身技術」,在產品化之後預期可以提高生產效率 30% ,可以說是前景相當看好。

邱璟明組長受訪圖
▲邱璟明組長:「厲害的漁民所作的行為決策,以結果論,硬是要比一般的漁民還要強三倍。」 
 

Digital Twin: Aqua-Solution

Digital Twin: Aqua-Solution

後來,與科技養殖產業業者合作,共同獲得經濟部工業局的業界計畫支持,資策會服創所才將數位分身的技術應用在「智慧漁塭」的場域當中。負責養殖漁業的場域應用團隊指出,「在養殖漁塭當中,漁民在面對各種環境改變時的行為決策,往往是不同的。其中,厲害的漁民所作的行為決策,以結果論,硬是要比一般的漁民還要強三倍,例如白蝦的存活率,一般的平均是 10% 左右,有些漁民就是可以獲得 30% 的高水準產量。如此一來,生產成本降低,賺的錢也是原本的三倍。

數位分身的技術,就是可以將這些達人的隱性知識傳承下來,最終推動整個產業的升級。」

9大感知器、魚體影像以及漁民行為決策組合而成的「數位分身」

為了取得各種養殖場的環境數據,服創所採用了包括了有溶氧、水溫、酸鹼度、鹽度、濁度、氨氮、硝酸鹽、葉綠素 a、ORP (Oxidation-Reduction Potential)氧化還原電位等九大感知器來監控水質,這些又被稱為「設施因子」。

另外,漁民也會定期把魚、蝦從池中撈上來,或是透過沉水攝影機拍攝水下的養殖物影像。藉以得知目前養殖物的大小,來了解生長狀況,這又被稱為「成長因子」。

智慧養殖設施示意圖

▲ 「設施因子」、「成長因子」再加上漁民在不同情境下會採取的「行為決策」,就可以在雲端伺服器裡面創造一個虛擬的「數位分身」。(示意圖來源:台鹽綠能股份有限公司委託三奕設計顧問有限公司設計) 

有了這兩個因子,在加上漁民在不同情境下會採取的「行為決策」,就可以在雲端伺服器裡面創造一個虛擬的「數位分身」。

在這個好像遊戲一樣的「數位分身」中,我們可以盡情的模擬,藉以找尋不同「設施因子」下,最佳的「行為決策」,藉以取得最佳化的「成長因子」。

換一個比較容易理解的說法,各位讀者不妨想像我們現在有個「開心漁塭」遊戲軟體。其中,漁塭的各種環境參數,都是由真實情況所記錄下來的。我們也紀錄下每個「開心漁塭」玩家在不同環境參數下所做出的行為決策以及最終的成果。當紀錄下來的資料組數量夠多,得到 ML 機器學習( Machine Learning)而來的魚塭數位分身模型,再經由即時數據進行模擬,就可以找出各種最佳化組合。而這個模擬世界,就是「開心漁塭」的「數位分身」。

感知器容易損壞,如何解決?

然而,研發的過程總是有些挑戰。例如水下的感知器如水溫和溶氧感知器,經常由於藻類增生而損壞。水下紀錄魚體大小的攝影機,也經常因為池底泥沙或藻類污染而模糊不清,無法辨識。

為了克服這些感知器的損壞問題,有兩個方案,一是定期從池中打水上來經過感知器來偵測,二是將感知器製作成一個盒子,每天定期泡入養殖池當中用以偵測水質。

至於魚體和蝦體的生長狀況,只需要漁民每日定期打撈上來拍照量測即可。成本低而且有效。

服創所的邱組長說:「這些感知器的損壞問題,是個成本問題,雖然說帶來的效益很高,但是若成本太高,漁民不願意採納也失去意義了。我們目前正在研發 9 合 1 的水質偵測盒子,成功整合完成之後,就可以準備量產,並且以銷售盒子加上連線月租費的方式來商業運作。我們目前已經非常接近完成整合,非常歡迎廠商來洽談合作」

漁民行為決策難以紀錄的困難

另外一個挑戰來自於漁民,部份漁民會自覺的紀錄每天觀察的水質以及環境指標,並且紀錄自己的操作策略和結果。但是,並不是每個漁民都會這樣操作,這時候,就需要引進 AI 人工智慧當中相當重要的 GAN (Generative adversarial network 生成對抗網路)技術。

GAN 會依據過去的資料,生成漁民的可能策略,也就是「猜」漁民的決策,用以補足漁民沒有輸入的行為決策。若是事後得到漁民補完,也不影響訓練資料集。

得獎技術量產化之後, 300%的生產效率不再是遙不可及

「數位分身」技術目前全球應用案例多運用於航太、製造業,目前只有台灣與荷蘭率先投入數位分身在智慧農業的研發。因此,「智慧農業數位分身」獲美國 R&D全球百大科技研發獎也是國內技術領先的證明。目前正在完成整合的水質監控盒以及整套解決方案,在產品化後預期提高生產效率 300%。

未來「數位分身」技術不只是可以應用於農業和養殖漁業當中,還可以擴展至原本仰賴「隱性知識」的產業當中,如製茶、漁業等等。由於全程數據化,品質不再是靠著經驗以及「看天吃飯」。藉此,可以提高農民的「智慧化監控」和「精準化生產」科技層次,除了提昇傳統農漁業的生產力,也很有機會達成永續經營,促成整個產業升級,提昇年輕人回鄉參與農漁業的誘因。

參考資料:智慧製造的關鍵拼圖!加速「數位分身」實現的創新感測技術-數位時代

推薦案例

這是一張圖片。 This is a picture.
CCTV 智能影像搜索系統

查找某特定人物,尋找攜行李箱入廠人物進入高安區。人物及物件顏色特徵確定,人物藍黑色上衣,行李箱顏色黑色,透過CCTV 智能影像搜索系統,做物件與顏色檢索條件設定,可以成功搜尋到三段縮圖有出現關鍵標的影片,可以有效解決作業人員查找物件標的物,透過此系統查詢速度可比人工快6倍。 需求痛點 日月光高雄廠區內密布CCTV能及時監控廠區中的各個角落,但若在事件事故發生時,無法在有限的時間可透過CCTV影像回放被找到,其背後之意涵與其中蘊藏之巨大風險自是不言而喻,而許多平時無人的區域也很容易成為治安上的死角。故如何更智能、更有效的監控占地龐大的廠區是全體半導體企業打造智慧廠區之一大重點。日月光高雄廠占地遼闊,其中有許多重要的場域需要監控人員進出以確保企業機密與員工安全。 1 自動化生產線與自動倉儲:半導體企業之自動化生產線與自動倉儲中常有AGV(Automated Guided Vehicle)無人車高速行駛,若有廠區人員不慎誤入AGV移動區域且無法對該人員發出警告,則當憾事發生將追悔莫及。 2 材料與產品存放區域:半導體相關製程之材料價值不菲,若存放材料或產品之區域遭人入侵則有損失高價材料、產品之風險。 3 高機密管制區:營業秘密關乎半導體相關企業之核心技術競爭力,若有人員侵入高機密管制區則有企業營業秘密外洩之風險,而營業秘密安全防護一直以來都是半導體相關企業最最重視之議題。 4 卸貨碼頭區:日月光L但碼頭區常有卸貨車輛進出,若人員闖入碼頭區則有發生人車擦撞、碰撞意外之風險。甚至堆放在碼頭區待出貨的貨物有失竊以及因人員碰撞後,貨物倒塌造成損毀,因而造成公司具大的信譽、金錢損失。更進一步的造成生產出貨的不便。 異常事件發生時,如何在海量數據中,快速搜尋符合條件的關鍵影像 日月光高雄廠有許多重要的場域都需要架設CCTV為安全把關,但CCTV的數量動輒上千支、上萬支,一旦發生事件要去搜索影像時,都要用人眼一一回放查找、搜索,耗時耗力效益不彰。有鑑於現今電腦視覺的發展,遂利用AI來替代人眼回放查找。 問題情境 物件偵測 物件偵測資料來源分成兩個部份 開源資料集OIDv4、以及日月光高雄廠CCTV影像檔案。針對OIDv4中,取出符合定義的九大類別物件訓練資料,其中有二類物件未能於OIDv4中搜索到可用資料,分別為刀子與汽油桶,其餘七種類別物件皆可從OIDv4中取出可用訓練資料,此訓練資料皆已有標記。而針對高雄廠CCTV影像檔案,從中抽取部分幀(Frame)的影像,並且對欲偵測的物件進行人工標記以做為訓練與測試資料。 九大物件 顏色辨識 顏色辨識資料來源分成兩個部份網路圖像截圖、以及高雄廠CCTV影像檔案。目前並沒有找到針對顏色辨識應用的公開可下載的開源資料集,因此只能從網路蒐集圖像,於網路上搜索符合定義的九大類別物件的圖像,儲存圖像後將物件與背景分割,只保留物件的區塊,最後將圖像依照顏色做類別標記。另外針對高雄廠CCTV影像檔案,則使用物件偵測資料已標記好的bounding box擷取CCTV影像檔案中各個Frame的物件所在區塊之圖像,最後將肉眼可辨其顏色之圖像依照顏色做類別標記。針對每種物件類別皆有其專屬顏色定義,各種物件類別的顏色定義取決於此物件類別於現實生活中常見之顏色。 動態忽略免除混淆訓練 從OIDv4訓練專案的物件偵測雛型模型時,因為此資料集的每張影像中,皆只有針對單一類別做標記,但影像中有可能包含其他欲偵測之類別未被標記,故針對此種情況,訓練時會使用動態忽略之技術使其不會有混淆訓練的情況。接著使用高雄廠取出的訓練資料用來Fine-Tune雛型模型提高物件於特定指定場域下的辨識率。最終選取訓練過程中於測試集計算之損失值最低的模型做為主要物件偵測模型。 動態忽略 AI幫你看 CCTV 智能影像搜索系統主要是做為監控影像的搜尋輔助系統,可以藉由設定搜尋物件條件來加速達到從影片找出目標事件的功能,僅需定義搜尋條件,即可快速產出關鍵物件的縮圖影片並進行回放確認,縮短昔日以人工調閱案件所須時間,查找時間快6倍,前端安全單位運用此平台可強化風險管理第一道防線之自行監督功能以及早採取因應措施。

【導入案例】赫銳特科技VCSEL封裝元件瑕疵導入AOI檢測 提升產能效率20
赫銳特科技VCSEL封裝元件瑕疵導入AOI檢測 提升產能效率20%

2017年,iPhone X的亮相讓提供 Face ID人臉解鎖的3D感測技術成為大熱門,也帶動了3D感測模組中的核心零元件VCSEL的發展。而VCSEL封裝元件入料瑕疵檢測,若透過AI推論模型可解決良率偏低產業難題,提升可靠度達95。 VCSEL技術現階段可被運用於諸多用途和各類終端消費市場,包括機器人、移動設備、監控、無人機,以及ARVR等。VCSEL在需求高速調製功能的應用(例如照相機和生物計量)中堪稱為不錯的解決方案。 VCSEL技術應用層面廣,也可應用於無人機。圖為佐翼科技農用無人機 VCSEL技術應用層面廣 AI技術助攻瑕疵檢測 赫銳特科技表示,VCSEL封裝元件市場也面臨到商業對手強力的削價競爭,需要進一步降低成本提升、產品競爭力,其中一個關鍵的難題就是將玻璃透鏡更換為環氧樹脂型透鏡。傳統玻璃透鏡的生產良率高,但成本較環氧樹脂透鏡高,因環氧樹脂經切割製程,側壁切割道上容易會有毛邊,造成尺寸過大,容易在打件時因為受熱而產生的應力釋放,將會直接導致光學透鏡破裂。 赫銳特科技指出,VCSEL環氧樹脂透鏡的入料檢測十分重要,在封裝空間的限制下,封裝與光學透鏡貼合的空間有限,且此光學透鏡會被侷限於一金屬框架內,若是沒有控管好尺寸公差,很容易在打件時因為受熱而產生的應力釋放會直接導致光學透鏡破裂,造成VCSEL封裝可靠度驗證良率損失最高達到10,造成生產成本增加。 為解決上述問題,赫銳特科技希望在VCSEL環氧樹脂透鏡的入料階段,可以藉由AI影像監控環氧樹脂元件的尺寸及外觀瑕疵,確認其尺寸是否合乎規格、切割邊緣是否平整、外觀是否瑕疵等。由於傳統的入料檢測,經通過大略的人眼目檢分辨好壞,為順利收集影像數據,首先需要解決影像蒐集的問題。 因此,赫銳特科技首先建立自動光學檢測裝置Automated Optical Inspection,AOI,自動光學檢測裝置包含X、Y、Z三軸動及高解析相機,及相關控制軟體自動記錄影像。蒐集完成後的影像資料,經opencv將測試影像Test與一標準正常影像Normal,進行影像對位後取出Test與Normal影像的差異部分,並可經由Pixel Mapping計算影像的像素面積進行比較完成初步篩檢。 承上之影像分類,進行手動標籤標示包含:正常、外觀瑕疵或形狀特徵差異之樣品,後進行演算法訓練與驗證,使用深度殘差網絡Residual neural network ResNet或其他相關演算法進行深度學習,以辨識出透鏡的優劣情形。 導入AOI檢測 提升產能效率達20以上 比較導入AI影像檢測的前後差異,導入前的VCSEL入料透鏡檢測,僅透過簡易的人工外觀檢測,將透鏡封裝在已固晶的VCSEL封裝體上,通過一般點亮檢測後,最後進行可靠度測試高溫回焊,失效樣品進再入重工流程。 但在導入AOI檢測之後,可提前將有問題的透鏡篩選出來,除了可以降低後續物料投入的成本,亦可減少失效情形降低重工的需要,因而提升可靠度驗證良率達95以上,預期可協助場域業者降低生產成本達10,提高產能效率達20以上。 導入AI影像檢測的前後之差異 赫銳特科技指出,這項技術是基於微小影像開發的AI應用技術,透過深度學習演算法辨識影像瑕疵,用來辨識瑕疵影像。而訓練後的網路來自動分類對應於預定類別的影像數據。透過參考影像就能辨識缺陷類別,因此不再需要繁瑣的編程。 而在工業機器視覺環境中,深度學習主要用於應用中的分類任務,例如在工業產品的檢驗或零件的辨識,未來隨著IOT穿戴裝置的發展,符合節能省電的潮流議題,光電元件尺寸將不斷的縮小,本技術未來也可應用在其他微小光電元件的外觀瑕疵檢測。

【解決方案】佐翼科技無人機導入高爾夫球場域 可節省一半人力
佐翼科技無人機導入高爾夫球場域 可節省一半人力

對於大多數的高爾夫球場而言,場務的營運及管理是一個令人頭疼的問題。「球場就是在賣草皮,場地一定要顧好」,一位高球場負責人不諱言指出。面臨球場場務人力短缺、老年化及成本高昂的市場痛點,導入AI無人機進行農藥噴灑及防蟲害,將可節省球場一半以上的人力成本,並大幅提升整體營運效率。 初夏晌午,位於桃園的台北高爾夫俱樂部,AI智慧無人機緩緩升空,其主要的任務是進行高爾夫球場AI 智慧無人機施肥噴藥的測試。事實上,執行此項任務的佐翼科技,其無人機普遍使用於稻田、香蕉、茶樹等農作物,來從事施肥施藥及防治病蟲害的工作,對於動輒數十到上百公頃的高爾夫球草坪,要運用AI無人機協助草皮維護作業,現階段將進行資料蒐集、建立施藥AI模型及多光譜影像分析測試等,未來將進一步進行大規模的技術落地驗證,為無人機導入高爾夫球場域建立典範。 透過AI無人機施肥灑藥 可節省一半人力 傳統高爾夫球場維護草坪的作業方式,是以人工揹著藥桶,或是駕駛施藥車逐一分區進行噴灑。「國內高爾夫球場於2001年起開始種植超矮性百慕達草種品系,此一草種喜好涼爽的氣候,台灣高溫潮濕的天氣型態並不適宜」,佐翼科技執行長進一步指出,為避免草皮遭受病蟲害,就必須進行農藥噴灑工作,以18洞球場而言,相當於每周要噴灑一次殺菌劑,T台及球道每兩個月噴藥一次。對於高爾夫球場而言,噴灑農藥耗時費力,重要的是,大規模噴灑將增加人員中毒與農藥量增加的風險。 農用無人機在高爾夫球場應用之效益 根據佐翼科技研究,高爾夫球場的蟲害包括夜盜蟲、斜紋夜盜蛾等,其生活習性是傍晚會出來覓食,因此,噴藥的工作必須傍晚施作。依據傳統作業方式,每次施藥估計需要兩台車三個人力,共耗費45小時的時間。若透過AI無人機施肥灑藥,操作人力僅需1人,20分鐘可以噴灑08公頃土地,約可節省三分之二的人力,也可減少營運成本30左右。 高爾夫球場草坪透過AI無人機施肥灑藥,約可節省一半人力 啟用農用無人機應用於高爾夫球場的草皮維護,除了顯著的效益顯現外,佐翼科技也特別導入AI多光譜影像辨識建立NDVI標準化植被指數分析,「所謂的多光譜是將不同的波長波段光線打在草坪的植株上,蒐集反射回來的影像進行分析」,佐翼科技劉姓執行長接著解釋,因為不同光譜,每一種植物在光的波長吸收程度不一,透過多光譜可以掌握草種生長狀況。同時再結合AI影像辨識,可以精準偵測病蟲害分布情況,據此決定施藥量的多寡。 跨領域協作 建立無人機草坪多源影像資料庫 運用AI多光譜影像辨識技術,佐翼科技將蒐集包括可見光譜、多光譜、熱影像和高光譜影像等,建立無人機草坪多源影像資料庫,完整掌握百慕達草種生長週期。 佐翼科技累積豐富的農業AI無人機噴灑藥劑經驗,但要將AI解決方案導入大面積的高爾夫球場仍有諸多問題需要克服。例如需要建立全新施藥模型及測試飛行方式,尤其是多光譜影像辨識運用,概念驗證並不困難,但實際執行則需要更多的測試實證,反覆推論,並與植物專家建立協同作業才能完成,這部分則須仰賴資策會等法人單位跨域整合,集結更多場域投入實證,建立典範,才能在高爾夫球場場域擴散。 智慧無人機導入高爾夫球場的國際案例文獻並不多,在驗證的過程中,能否快速複製至下一個球場尚未可知,但佐翼科技劉姓執行長認為,透過跨領域協作的方式,將問題定義清楚,一一臚列,供需雙方取得共識,針對每一個問題提出可以解決的方案,並找尋內外部的資源合作,才能逐步完成高爾夫球場智慧化的目標,順利協助產業轉型。 佐翼科技執行長劉峻麟