立達軟體科技創辦人李明達受邀參與「嵌入式 AI 應用與技術趨勢研討會」時表示，過去嵌入式物聯網產業的運作模式是透過嵌入式裝置收集資料、並以物聯網傳輸資料，再利用雲端人工智慧分析大數據；未來加入 AI （人工智慧）以後，嵌入式物聯網運作模式會轉變，裝置運算能力提升、運算由雲端移至霧端，運算架構變成 CPU+GPU 或者 CPU+USB FPGA，並由多台嵌入式電腦配合 FPGA 以節省能源。
（編按：以下報導圖文來自《新電子》雜誌網站，感謝《新電子》雜誌授權轉載原文。）
嵌入式AI應用與技術趨勢研討會特別報導
AI、IoT兩相好 嵌入式物聯網智慧更加分
文‧廖專崇 發布日期：2017/07/27
在半導體技術進步與AI朝專用化發展兩大因素的加持下，人工智慧得以與物聯網中各種嵌入式系統(Embedded System)結合，形成AIoT(AI+IoT)。展望未來AI的發展可以透過很簡單的介面或方式完成，比如功能的新增只要透過簡單的拖拉就可以，而且AI的發展應該不是要取代人類而是協助人類。
物聯網(IoT)結合人工智慧(AI)是今年產業界發展的重頭戲。隨著半導體業者大舉投入，市面上出現不少專為人工智慧所設計的晶片，像是英特爾的Intel Xeon Phi、NVIDIA的Tesla P100 GPU，而許多專為嵌入式應用設計的晶片如現場可編程閘陣列(FPGA)，也開始對AI提供更廣泛的支援。另一方面，傳統AI研究目的是為了打造出擁有全方位能力，接近人類的AI，但最新的發展趨勢已經不再追求這麼高的目標，而是鎖定特定領域，打造專用的人工智慧系統。也由於需求明確，讓系統得以變得非常輕量化，不再非得仰賴雲端資料中心才能執行。
在半導體技術進步與AI朝專用化發展兩大因素的加持下，人工智慧得以與物聯網中各種嵌入式系統(Embedded System)結合，形成AIoT(AI+IoT)。目前業界所稱的邊緣運算(Edge Computing)，正是AIoT的發展雛形。嵌入式物聯網終端設備升級為AIoT智慧機器，眼看將成為擋不住的新浪潮。本活動邀集人工智慧相關軟硬體解決方案供應商現身說法，分享AI關鍵技術及嵌入式AI設計要點及應用趨勢，期協助物聯網應用開發商，順利搭上這波AIoT商機列車。
人工智慧2010年打通任督二脈
人工智慧(Artificial Intelligence, AI)發展歷史已久，最早從1950年代就開始，不過機器運算一直找不出一個有效率的方式來模仿人類神經元的運作，一直到2010年機器視覺競賽ImageNet，還有2016年AlphaGo挑戰圍棋棋王，並大獲全勝以後，人工智慧一夕之間又爆紅。關於AI的發展方向，台灣微軟資深平台架構技術經理吳宏彬(圖1)表示，一般分為全能型人工智慧(General AI)與專用型人工智慧(Narrow AI)，近年發展比較好的技術是Narrow AI，典型的例子就是AlphaGo，他是一種特化的引擎，可以在特殊應用或功能上做得很好，像是翻譯、自動駕駛、影像辨識等。
圖1 台灣微軟資深平台架構技術經理吳宏彬表示，電腦影像辨識的表現，2015年微軟的ResNet錯誤率降低到3.5%，正式超越人類的5.1%。
AI的發展有三大重點：演算法(Algorithms)、大數據(Big Data)、運算能力(Compute Power)；演算法從過去的神經網路開始，一直到近年的深度學習(Deep Learning)，其實也是一種神經網路技術，從2012年ImageNet競賽，冠軍團隊AlexNet採用8層的深度學習架構，震撼業界，到了2014年冠軍團隊VGG採用19層的深度學習架構，2015年微軟的ResNet採用152層的架構奪得冠軍，讓多層架構的深度學習變成奪冠的保證，也引起一陣風潮。
更重要的是，吳宏彬強調，電腦透過影像辨識在物體檢測的表現上，2015年的微軟ResNet錯誤率降低到3.5%，正式超越人類的5.1%。在資料庫部分，巨量資料/大數據(Big Data)也已經談論多年，但是如何將資料結構化，進行良好的分類與標註，搭配搜尋引擎與演算法，讓系統可以快速找到答案則是資料結構的重點。在運算能力方面，2012年辨識一隻貓需要16000顆傳統CPU的運算能力才能達成，但類似的工作，採用繪圖晶片GPU大概只需要2顆。
以深度學習平台來說，程式語言非常多，吳宏彬說明，比較重要的開發工具包括Deeplearning4j、Gensim、Keras.、CNTK、MXNet、OpenNN、PaddlePaddle、TensorFlow、Theano.、Torch、Caffe、DIANNE等。而整個AI的架構除了開發工具還包括了底層的硬體，GPU/CPU/FPGA等，往上就是模式層(Model)與最上層的應用。
FPGA助嵌入式視覺一臂之力
相較於目前做AI運算最熱門的GPU，可編程邏輯元件FPGA也透過其先天的運算能力優勢，發展嵌入式視覺(Embedded Vision)，安馳科技技術應用工程部經理吳文忠(圖2)指出，嵌入式視覺屬於電腦視覺(Computer Vision)的一種，是使用數位訊號來處理圖片或訊息並加入AI演算法，在許多新興的應用領域，簡單的例子就是將嵌入式視覺加上Sensor，並搭配特定的AI與資料庫，應用在汽車駕駛上就變成先進駕駛輔助系統(ADAS)、用在監視系統上就可以做人臉辨識，也可以導入AR/VR系統等，應用領域非常廣泛。
圖2 安馳科技技術應用工程部經理吳文忠指出，嵌入式視覺屬於電腦視覺的一種，是使用數位訊號來處理圖片或訊息並加入AI演算法。
由於FPGA近年走向省電與小型化，所以在嵌入式視覺的應用上，是以邊緣裝置(Edge Device)為主，主要功能包括：物件辨識、影像偵測、光流處理等將前端的訊息辨識出來後，再送到後端給主要的CPU進行決策判斷。相較於目前市面上的類似產品，加入FPGA的重點就是能為產品進行差異化，提供更多的功能與更準確的偵測。
在達成人工智慧的各項升級之前，有三個重點：智慧與直覺的回應、彈性升級至最新的演算法與感測器、常時連結其他機器與雲端。而深度學習則是透過訓練模式，倒入一堆欲分析的資料，演算法就會透過深度學習引擎推論(Inference)出一個最符合的結果，FPGA運算出來的正確性與採用不同硬體或深度學習網路技術差距不大。
善用網路開放AI模型進行加值
AI人工智慧這兩年發展大跳躍，許多廠商都對其應用與商機很有興趣，但卻面臨如何導入與切入方向的問題。台灣廠商許多規模不如歐美大廠，要投資演算法、建立資料庫進行大量的分析，都有相當的難度。以臉部辨識來說，台灣微軟技術傳教士上官林傑(圖3)說明，該公司已經將許多基礎的應用建置完成，如性別、年齡，很多都是公開的平台，國內廠商只要思考自己的技術與產品如何結合？再將之本土化，並跟自己的應用結合，稱為是民主化人工智慧(Democratizing AI)概念。
圖3 台灣微軟技術傳教士上官林傑說明，微軟已經將許多基礎的應用建置完成，國內廠商可以踩在巨人的肩膀上發揮自身的應用與創意。
部分已經建立好的AI模型，如果是以輔助或說明的角度來應用，上官林傑建議，國內廠商可以踩在巨人的肩膀上發展，最典型的例子就是Google，其地圖/定位、翻譯、搜尋等功能未來都會加入更多人工智慧，台灣廠商不用侷限於本身的專長，可以適時延伸自己的技術/產品，善用現在網路上許多已經公開的AI模型，再進行加值與優化，特別是加強自身的創意與業務模式，也有機會在市場上開拓自己的空間。
AI應用能力才是成功的關鍵
人工智慧AI對於我們的生活、產業發展預期在未來幾十年中，將帶來深遠的影響，立達軟體科技創辦人李明達(圖3)認為，過去嵌入式物聯網產業的運作模式是透過嵌入式裝置收集資料、並以物聯網傳輸資料，再利用雲端人工智慧分析大數據。未來加入AI以後，嵌入式物聯網運作模式會轉變，裝置運算能力提升、運算由雲端移至霧端，運算架構變成CPU+GPU或者CPU+USB FPGA，並由多台嵌入式電腦配合FPGA以節省能源。
一般企業要導入AI，目的不外乎降低成本與提高品質，李明達表示，降低成本的做法就是減少人工，比如許多基層人力工作內容重覆性非常高，像是資深的目檢員就很難培養，而且這類工作出錯率高，AI擔任這類工作非常適合。另外，由於機器沒有疲勞的情況，可以有效提高良率，避免大規模不良品發生。不過，在工具越來越成熟的情況下，導入人工智慧機器人已經是資本競爭。
圖4 立達軟體科技創辦人李明達認為，過去嵌入式物聯網的運作是透過嵌入式裝置收集資料、並以物聯網傳輸資料，再利用雲端分析大數據。
在實際應用案例上，李明達也說明，該公司推出一套人工智慧圖控軟體，標榜不用寫程式也能做人工智慧，主要功能包括：影像分析、語音分析、人工智慧、運動控制、I/O控制等，透過DLL Plug-in可以支援不同的硬體裝置。展望未來希望AI的發展可以透過簡單的介面或方式完成，比如功能的新增只要透過拖拉就可以，而且AI的發展應該不是要取代人類而是在工作上協助人類。
【本文出自《新電子》376 期（2017 年 7 月號），pp. 119-121，感謝《新電子》雜誌授權轉載。線上版全文請見：http://www.mem.com.tw/arti.php?sn=1707050008】