「生成式AI 的應用: 理解與落地」緒言
第一章 緒言
陳力俊 [1]
中技社鑒於AI科技發展迅速，應用日趨廣泛，從八年前展開AI研討，首次大型研討會以「AI對科技經濟社會政治暨產業之挑戰及影響」為題於2018年2月2日舉行，接著陸續辦理六次研討會，主題分別為「AI時代社科文教之變革與創新思維」(2019.3.13)、「AI 智能應用對日常生活之翻轉與創新」(2019.8.23)、「AI倫理治理與醫療防疫」(2020.10.16)、「AI在教育領域應用」(2022.9.7)、「AI智慧製造與數位轉型」(2023.3.30)以及「AI在服務領域應用」(2024.3.27)。
會後並各出版一本研究報告。同時在2023年與2024年分別進行「AI教師培育及教材教法」以及「AI跨域教師培育示範與教學資源共享之實踐」探討，並出版研究報告，將研討結果與建議提供政府機構與民間單位做決策參考。每項研討，常會辦理幾次較小型的座談會。另外舉辦三場次每次兩天「國中AI教師培育營」 (新北、彰化、南投)，參訪AI展示中心(東海、逢甲、亞洲、中華、敏實)以及舉辦七次「大專院校AI創意競賽」，主題分別為:「AI與藝術、創新服務與教育」(2019年)，「AI與健康照護」(2020年)，「AI與農林漁牧」(2021年)，「AI與生活」(2022年)，「AI與教學」(2023年)，「AI與ESG」(2024年)以及「生成式AI應用」(2025年)，將AI作為智庫研議重點。
《紐約時報》專欄作家佛里曼(Thomas Friedman)於去(2025)年底撰文，認為AI的發展是有史以來最重大事件。佛里曼和微軟前研發策略長克雷格將人類比喻為水分子，並將世界歷史劃分為三個基本階段。
第一個時代是工具時代－從人類誕生之初到印刷術發明，是冰河時期，人類彼此之間非常疏離，就像冰中的水分子一樣，移動速度極為緩慢；第二個時代是科技時代，科技如同熱能，印刷機的出現，像將冰雪融化成水，水開啟了資訊時代，思想、人才和資本開始流動。從印刷機時代到電腦時代，資訊時代始終貫穿其中；第三個時代則是人工智慧時代，也讓人類進入一個「蒸汽時代」，蒸氣將滲透到萬物之中，這就是它與眾不同的地方，也是你必須了解它的原因，它將進入你的眼鏡、手錶、烤麵包機、冰箱、汽車、麥克風，甚至椅子。
他強調，AI將會滲透到方方面面，同時也會讓人被它的資訊量所淹沒。但最重要的是倫理問題，這最終會回到你的生活層面，無論科技發展多麼迅速，一切最終都會回歸到人類所關注的核心原則：信任與社群。如果我們因為彼此不信任而無法充分利用這個工具，也無法避免其帶來的最壞後果，對人類社會衝擊將極為負面。
「生成式AI的應用：理解與落地」無疑是目前AI發展的重要議題，生成式AI現在可謂席卷全球，從研討會報名的盛況來看，已受到國內各界的注目。約三年前OpenAI推出ChatGPT，曾經獨領風騷，現在仍以每周有八億人使用為領導品牌，但最近Google推出新版Gemini 3 AI模型，在業界基準測試中超越OpenAI模型，執行長奧特曼(Sam Altman)迅速下達「紅色警戒」(Code Red)行動，以提高ChatGPT的品質，並因此延後其他產品推出，例如廣告、醫療與購物的AI代理，以及名為Pulse的個人助理。現在將專注於擴大其聊天機器人，同時致力於使其「更加直觀和個性化」，不久前推出GPT 5.2，不僅以十一倍速勝過七成一的人類表現，而僅用百分之一成本。研討會下午圓桌論壇中，討論題綱之一是DeepSeek崛起對產業落地應用的啟發，可以看出當前生成式AI的發展仍是百家爭鳴，百花齊放的時代。
本次研討會先經2025年3月27日「生成式AI發展趨勢與運用場域探討」專家諮詢座談會，集思廣益，討論議題構想，擬定研討方向，以及可能議題。隨後於 6月5日舉行第一次工作會議，報告議題執行規畫，討論團隊與分工、期程安排、專題報告出版事宜，並請專家學者說明論述架構。特別強調作為科技智庫，中技社辦理研討會主要有三個目的，一是推廣隊重要科技認知，第二是協助產業應用落地，並將集思廣益結果做成報告，向政府與相關機構建言。第二次工作會議則於10月31日舉行，確定研討會「生成式AI的應用:理解與落地」主題以及議程、後續時程安排、文稿架構，並請主講人說明文稿論述內容與研討會分享方向，據此交換意見。
本次研討會是中技社舉辦的第八次大型研討會，研討會由哈佛大學孔祥重教授開場，對生成式AI發展的現況做了一個總體的介紹，上午其他兩場演講重點在對GenAI的理解。下午場的演講則強調落地，以實例介紹其應用。開場的孔祥重院士也是中技社主辦的第一次大型研討會的開場主講人，當初他主要談AI區塊鍊，而在此研討會分享的主題是生成式AI，也略可一窺AI發展重點的變化。
孔院士演講主題是「從提示詞到政策：日常生成式AI的效能、成本與安全性」，談到受技能、資料、GPU與電力等資源限制，許多使用者與組織仰賴外部的AI模型。例如，他們可透過API存取遠端外部模型、使用裝置內建模型，或依據授權協議在本地部署外部模型。為了避免專有模型所帶來的成本並允許彈性的在地化調適，他們常轉而採用開源替代方案。然而，應該質疑的是採用開源方法在AI主權上存在哪些脆弱性與影響?而產業領導者又是基於何種動機提供開源模型?安全性考量、競爭力相關的政策，以及提示詞(Prompt)優化都在解答這些問題上扮演關鍵角色。
報告從生成式AI的底層原理與最新技術進展出發，分析推理型模型、演化式代理、裝置端AI、Token經濟學(Tokenomics)所帶來的變革，並指出AI模型已成為跨境流通的戰略性資產，其供應鏈在資料污染、模型演化、整合環境與地緣政治限制下暴露出新的脆弱性。進一步而言，產業領導者提供開源模型的策略動機，與後進者藉由開源追趕技術的路徑，形塑了當前AI生態的競合結構。最後主張國家AI戰略應從單純追求算力與規模，轉向強化演算法能力、供應鏈韌性、國際標準參與，以及AI訓練人才培育，並強調唯有系統性投資於人才與制度，才能在AI時代建立可持續的競爭優勢。
花凱龍教授現任台灣微軟股份有限公司擔任首席技術長，主題演講講題是：「生成式AI核心技術之發展歷程與未來展望」。報告首先回顧AI與生成式AI的技術演進脈絡，說明大型語言模型(Large Language Models, LLMs)如何透過多模態理解與推理能力，重塑人機互動模式與知識工作的型態。隨後進一步探討Agentic AI與Multi-Agent Systems的發展趨勢，說明AI如何從以單一模型回應為主的應用形式，演進為具備長期記憶、任務分解、協作與自主決策能力的多代理系統，實現更高層次的自動化與智慧化應用。
並以保單續約系統將結合多個實際案為例，說明多代理架構如何在真實場景中協同運作，協助組織提升營運效率、優化客戶體驗並強化決策品質。同時，也說明在實務落地過程中，如何透過「Human-in-the-loop」機制，與AI代理形成有效分工與互補，以確保系統運作的可控性與可信度。
最後提出在企業與政府場域中推動負責任AI (Responsible AI)的實務思考與設計原則。整體而言，多代理AI不僅代表著從「單點智能」邁向「協作智慧」的關鍵典範轉移，也將成為推動組織升級、產業轉型與社會智慧化發展的核心驅動力量。
蔡宗翰教授現任中央大學資訊電機學院資訊工程學系教授，演講主題是「生成式AI能力之評估標準」。談到生成式AI在近年掀起了強大的發展浪潮，從文本、圖像到程式碼，各種生成式AI應用層出不窮，快速改變各行各業的工作模式與創新潛力。然而，在這波技術演進中，一個核心問題浮現：該如何客觀評估一個生成式AI模型的能力高低?目前現行的評估方式存在諸多挑戰與不足，對「模型好不好」缺乏一個客觀、可比較且貼近實際應用的衡量標準。過去大家過度依賴一些通用指標來比較模型，但這些指標往往與實際應用場景脫節，不但無法準確回答業界關心的模型效能問題，甚至可能誤導模型發展方向與使用者的選擇。
政府決策者與產業界人士越來越意識到，建立精確且實用的AI能力評估標準是AI技術落地應用的關鍵前提。沒有適當的評估尺規，企業在導入AI時將無從判斷模型是否符合其特定需求，政策制定者也難以制定有效的產業輔導與監管策略。因此，應以臺灣的發展背景為出發點，深入探討如何建立更有效、更貼近真實應用需求的生成式 AI能力評估標準，以作為產業界和政府在推動AI落地時的策略參考。內容涵蓋政策背景、技術討論、產業實況與未來建議，並結合國內外最新案例與專家經驗，期盼為臺灣AI發展提供務實的評估框架建議。
報告首先檢視現行主流評估指標的侷限與基準(Benchmark)困境，說明為何業界需要更完善的能力評估標準。接著分析生成式AI能力評估面臨的核心挑戰，並提出邁向有效評估的原則與方向，包括任務導向、領域特定、人類中心和多維度等原則。報告將介紹實際案例(如公文撰寫評估標準的建構經驗)，以說明如何從專家知識出發設計AI評估。隨後，針對臺灣情境，討論建構本土特色評估框架的策略思考，考量繁體中文語境、在地文化與產業情境，同時提出對大型企業與中小企業在AI導入上的差異化建議，以及資料共享機制與政府誘因的配套措施。最後將說明評估標準在主權AI策略與跨界協作中的關鍵意義，並提出教育普及與未來發展的展望。
報告的目標是匯整產官學界觀點與案例經驗，提出一套切實可行的生成式AI能力評估標準框架，協助臺灣在AI時代建立屬於自己的精準而實用的「尺」，引導創新、促進應用並建立社會信任。
下午場由AI大聯盟吳漢章會長主持。首先由鴻海研究院廖宜斌正研究員講「生成式AI驅動的新產業革命」。論及在這一場生成式AI產業變革中，核心競爭力已從單純的模型規模競爭，轉向如何讓模型深度理解並執行特定產業的專業邏輯。報告內容分四大重點：
•大型語言模型(LLM)作為抽象智慧的核心：LLM透過海量資料的自我監督學習，具備了捕捉語意與推理的能力，成為產業中高層次智慧的來源。企業透過微調(Fine-tuning)提示工程(Prompt Engineering)檢索增強生成(RAG)智慧夥伴。
•多模態感知與推理的演進：未來的AI必須超越文字，整合影像、聲音與感測器數據，實現多模態理解。這對於智慧製造與醫療影像等複雜場域至關重要，系統需透過表示對齊與感知融合，在充滿雜訊的真實環境中進行情境推理，使機器不僅能「看到」，更能「理解場景」並做出正確決策。
•從語意規劃到具體動作的協作：AI要能完成實體任務，必須結合高層的任務規劃與低層的動作控制。語意規劃模型負責制定行動策略，而動作模型（Action Models）則負責實際控制硬體，如驅動機械臂完成抓取，兩者共同構成從規劃到執行的完整流程。。
•智慧機器人系統與自主知識演化：生成式AI正在加速機器人從單點自動化走向全域智慧協作。未來，企業將形成一個自學習、自優化的智慧生態系統，知識不再只是靜態紀錄，而是能透過RAG與回饋機制，在任務執行中主動歸納新知並實現自主演化。
其次是元智大學工程管理系孫天龍教授主講「檢索增強生成(Retrieval Augmented Generation，RAG)理論與實作介紹」。談到RAG與Agentic RAG已成為LLM產業應用的主流技術與商用系統的標準設計模式。RAG藉者其建構快速、低成本以及可與各類應用互補整合等優勢，已成為目前最普遍用於強化LLM回答品質與可靠度的技術架構。
報告首先介紹RAG的核心概念與運作流程，接著以n8n (nodemation)自動化工具與平台進行實作示範，藉由n8n的可視化流程節點串接介面來講解RAG的運作步驟，包括文本分段、向量嵌入、相似度檢索、重排序、上下文整合與生成等過程，協助讀者掌握RAG的設計與實作要點。
針對傳統RAG的限制，如只能單次呼叫、流程僵化、缺乏彈性等問題，本文也介紹結合AI Agent與RAG的Agentic RAG架構，以克服上述挑戰。Agentic RAG利用LLM的推理與決策能力主動規劃檢索步驟、控制查詢策略並採取動態行動，能有效提升檢索資料的相關性與模型回應的完整性與可靠度。目前執行中的多個LLM產業應用專案(如票券業徵信報告生成、博物館知識查詢)皆已開始導入Agentic RAG以強化回答品質。
報告也分享團隊過去兩年輔導台灣多家中小型企業導入RAG以佈署地端客製化LLM的實務經驗，包括硬體配置、開發流程、預算規劃與系統整合方式。希望藉此提供產業界與研究人員一個具體可行的技術落地參考，協助更多企業在可負擔的成本內建構安全、穩定且具專業知識整合能力的在地化LLM應用系統，促進生成式AI在產業現場的廣泛落實與價值創造。
台智雲數位前瞻實驗室陳冠邑資深經理主講:「LLM微調實務與案例介紹」。先解釋為什麼要做Fine-tuning?包括專業知識的內化與推理能力的強化、混合架構的彈性運用：Fine-tuning + RAG，再討論模型微調方式與範疇，包括繼續預訓練(Continue pre-training)、監督式微調(Supervised Fine-Tuning, SFT)、鏈式思考微調(CoT SFT)，以及強化學習導向的微調技術(RLHF)，並說明各自的特點與適用場景。
接著是訓練流程總覽，整體流程可劃分為六大步驟：Pipeline建構、Dataset建立與清洗、Model準備、Framework & Tools、GPU Infrastructure，以及推論與評估，逐一說明這些步驟的要點與挑戰。關鍵結論為：流程導向勝於孤立優化，資料品質決定性能上限，策略決定逼近速度，算力與並行策略是規模化的關鍵，評估需兼顧學術指標與工程指標，閉環回饋機制是持續進化的基石。
在開發技巧與訓練指標方面，從資料與輸入設計(Data & Input Design)與推理與學習技巧(Reasoning & Learning Techniques)兩大面向展開。在產業實務案例方面，包括AML (反洗錢)調查實驗流程，從不同微調方式比較的基礎開始，再尋求突破，說明為什麼要導入蒸餾模型、為什麼要做資料擴增、為什麼加入Self-Refine與Self-Train，到最終收束為什麼要用GRPO (Group Relative Policy Optimization)，再回顧整條路徑，很有啟發性。
大型語言模型微調技術、訓練流程與產業實務案例的完整探討，可以清楚看見：Fine-tuning不再只是模型能力微調的技術選項，而是一套結合資料工程、模型策略、系統架構與組織流程的整體工程方法論。真正能在產業中落地並持續發揮價值的語言模型，並非來自單一技巧的堆疊，而是來自一條「可解釋、可重現、可迭代」的完整訓練與運營路徑。反覆強調：好模型不是「訓」出來的，而是「管」出來的。
總結而言，大型語言模型微調的真正價值，不在於打造「最強模型」，而在於建立一套能持續進化、可被信任、且能融入真實決策流程的智慧系統。當Fine-tuning從單一訓練技術，轉化為一套結合資料、模型、系統與人類偏好的工程方法時，語言模型才能真正從實驗室走向產業，成為可長期運作的核心能力。
資誠創新公司陳世祥董事分享「生成式AI實際應用案例」，深入探討AI，特別是生成式AI，在各行業中所帶來的轉型潛力。闡述了一套分階段的AI導入方法，從初期的數據數位化，逐步發展到智慧監控與預測，最終目標是實現企業全流程的AI應用優化。文中並特別聚焦於製造業、金融科技業、行銷流通業及樂齡照護業等，並為其規劃了具體的AI應用藍圖。
同時也展示了幾個中小企業成功導入AI的案例。強調中小企業在導入AI時應專注於高價值的應用場景，善用GenAI以符合成本效益的方式提升效率、賦能員工，並優先考慮資訊安全與可控性。此外也比較了台灣與國際企業在數據規模、雲端基礎設施及人才儲備等方面的差異。最後展望了AI Agents的未來潛力，預期它們將從單純的工具演變為能自主運作的合作夥伴，實現跨領域協調、提升決策品質，並驅動企業持續創新。
圓桌論壇主題是「促進台灣產業之生成式AI落地應用」，討論題綱為DeepSeek崛起對產業落地應用的啟發，以及生成式AI落地產業應用的挑戰。由工業總會呂正華秘書長主持，數位轉型學院詹文男院長以及資誠創新公司盧志浩董事長引言，並由多位重量級的學者專家與談，包括數發部數產署林俊秀署長、資策會楊仁達副執行長、資訊經理人協會蔡祈岩理事長、縉陽企業公司吳世長董事長以及台灣科技大學資訊管理學系林筱玫教授。
數位轉型學院詹文男院長就「DeepSeek崛起對產業落地應用的啟發」引言，談到當全球的關注焦點都集中在OpenAI、Google Gemini和 Anthropic等大型語言模型的快速迭代時，一款來自中國的生成式AI模型 - DeepSeek，悄悄改寫了這場競爭的遊戲規則。這不僅是一個關於模型效能突破的議題，更是一場聚焦於產業應用如何落地的角力。
自2023年底起，DeepSeek透過一系列開源策略與強化在地化支援的方式，快速引起來自產業界、技術社群與各國政策制定單位的高度關注。它不僅成為中國語境下的大型語言模型代表，更展現出開源不代表沒有商業潛力的例證。在多數語言模型仍聚焦於效能與參數規模的軍備競賽時，DeepSeek則轉為關注企業該如何真正落地應用?而這正是當前企業導入AI最在意的核心問題。
這樣的轉變揭示出一項重要趨勢：生成式AI的發展重心，正從雲端實驗室逐步轉向真實場域的應用現場。而從這個角度來看，DeepSeek 不只是單純的技術產品，更是一種以應用落地為核心、以使用場景為驅動、以架構彈性為基礎的新興產業策略。
對台灣而言，當我們仍普遍將ChatGPT或Gemini作為生成式AI的標竿時，DeepSeek所代表的另一條策略路徑，亦即強調私有化部署、語境貼合與低成本導入，提醒我們產業AI化的主戰場，不在於技術語法，而在於企業是否能真正用得好。
報告深入分析DeepSeek的技術特徵與商業佈局，並分析歸納其在產業應用上的特性與啟示，提供產業界與政府政策制定單位在AI導入與自有模型發展方面的參考。
資誠創新公司盧志浩董事長為「生成式AI落地產業應用的挑戰」討論提綱引言。論及隨著GenAI的石破天驚問世，所有的企業領導人都在思考如何將這個劃時代的技術運用在企業中，解決過去無法突破的各種營運挑戰。根據PwC的全球暨台灣企業領袖調查的數據，接近一半的企業領袖期望在未來的十二個月看到GenAI帶給企業利潤的改善，而有超過83%的全球企業和58%的台灣企業已經採用GenAI 技術，對比過去的一年有超過四成的成長，顯見企業正十分快速的引進這個新技術。
過去一年AI最受關注的發展就是從對話AI Chatbot轉為Agent，各式各樣的Agents紛紛問世，Agent瞄準企業的流程，可以結合數位資源、流程與智慧，透過使用者的授權獨立完成一項工作不需要人力介入，也讓企業的場域中運用AI更接近實務，盡管如此，企業推廣GenAI時，仍然面臨許多的挑戰，報告嘗試用結構化的方式，來分析企業在引進GenAI可能會面對的挑戰，並提出初步建議，期望協助企業快速找到適合的GenAI轉型策略規劃，建立在新的AI時代的新競爭優勢。
企業在推動GenAI時會遭遇到的挑戰，主要分為四大類：技術選擇、實施方式、投資的評估以及風險的控管，報告根據這四大類挑戰進行說明與提出相對的建議，事實上，在每個挑戰中都有各種不同的選擇，企業需要按照自身的況狀，選擇最適合符合需求的作法。
本次議題研討承蒙許多專家學者協助，熱心參與座談研討、多次工作會議，為研討會擔任主持人、主講人、引言人或與談人，精心整理並撰寫文稿，在此深深致謝。同時由陳綠蔚執行長領導的中技社團隊，包括經濟暨產業中心楊顯整主任、許湘琴研究員等，不僅從規劃到執行全程發揮高度專業精神，費心費力，讓多次座談會與工作會議以及研討會順利進行，完成豐富充實並有深度的專題報告，值得大家特別感謝。
[1] 中研院院士、台灣聯合大學系統系統主席、清華大學特聘講座教授
