Tips：你可以關注"EosphorosAI"公眾號，回復“0912”獲取師文匯演講PPT

隨著大模型的出現，AI應用迎來了一次重大的變革。數據，不再僅僅是信息的載體，而是變成了智能應用成功的關鍵。師文匯指出，AI應用的發展經歷了從數據積累到大模型的智能飛躍，我們正站在一個新的技術前沿。

AI應用的演化：從數據積累到大模型的智能飛躍

回顧應用研發方式的變革，早期以數據為核心的非智能化的應用，通常聚焦在某個特定的領域的特定問題，解決的是有明確答案的問題，比如支付、交易等業務。通過有限的狀態流轉實現業務邏輯推進，所有的流程都是標準化的。

在大模型出現以前，為了解決一個特定領域千人千面的問題，解空間已經很難用狀態機描述，例如推薦、搜索，通過應用大量的數據積累以及小模型的的迭代，獲取越來越準確的小模型，實現了第一代的智能應用。這其實是以大量的數據和小的判別式模型所構成的。

現在，大模型使得我們能夠處理更加復雜和發散性的問題。數據的角色從輔助變為核心，成為智能應用成功的關鍵。在大模型時代，我們不再僅僅依賴應用來積累數據。我們可以做到數據先行，可以通過數據引入或者數據標注的方式沉淀這些數據。

我們認為構建以數據為核心的智能應用的關鍵因素是打造一個能力較好的大模型加上優質的行業數據。

對智能應用來說數據包含了兩種類別：

• 應用數據：傳統應用積累的結構化、半結構化以及非結構化數據；
• 引入數據：通過數據引入和標注手段獲取的數據。

數據來源不僅僅通過應用逐步的沉淀，通過引入數據可以真正做到數據先行。

AI原生應用研發的變革與挑戰

1.編程模型的轉變:
從以流程為核心到以數據為核心，我們的編程模型正在發生重大變革。以前，我們用C++等語言開發程序，流程是固定的，我們沉淀了很多的研發工具，做集成測試。在大模型時代，整個AI原生應用的設計會簡化原來狀態流轉和SOP，我們更多地關注如何處理和加工數據。

SQL定義了處理結構化數據的范式，在大模型時代下，我們現在需要新的方法來處理非結構化數據，如音頻、視頻和圖片，甚至文本。我們是不是可以創新出一種全新的類似SQL的范式去處理這些非結構化的數據，這是一個長期的過程，需要我們不斷探索和創新積累。

2.研發范式的不確定性：
大模型的本質是概率模型，我們很難解決幻覺問題，或者準確性的問題。但很多應用需要嚴格的執行結果。我們如何降低大模型的不確定性失效成本，提升研發迭代效率，是后續非常重要的一環。

3.與現有系統的交互：
在建設新的數據為核心的AI應用時，無論是建立新的應用、還是升級老的系統，如何高效的利用已有系統的能力，也能夠讓已有系統更好的利用新的A原生應用的能力也是一個非常關鍵的問題。傳統的RPC都是面向二進制來設計的，如何高效的在網絡上傳輸，如何建立新的規范幫助AI Agent、AI原生應用的交流是一個很關鍵的問題。

AI原生應用框架的思考

我們希望構建沉淀一個新的框架，去應對解決AI原生的數據應用面臨的數據編程、不確定的問題。

面向數據編程：

• 泛ETLs：我們要把數據處理（ETL）做得更加廣泛，不僅僅像以前是為了做報表或幫助ML清洗數據，基本上是for人類、for決策的；我們現在的ETL為了大模型更智能，從數據到知識的能力。

• 實驗反饋：模型的架構決定了模型能力的下限，數據決定了整個AI應用的質量和上限，我們如何加工高質量的數據，其實是非常大的挑戰，在這里最重要的是我們要建立起一套完整的端到端的實驗反饋體系，通過框架提升反饋閉環的效率。

應對不確定性：

• 我們希望加快AI原生應用的開發迭代，減少因模型不確定性導致的失敗成本。
• 通過標準的SOP來約束應用的流程，確保業務流程的關鍵流程和路徑是可控的，同時SOP也能夠幫助LLM獲取足夠的信息。e.g.想象一下，我們要開發一個旅游AI助手，它在給你推薦旅行計劃前，得先知道你的預算、目的地和想參觀的景點。我們希望通過SOP編排的方式，用一種有序的步驟安排，來確保這個助手能根據這些關鍵信息點，為你做出最合適的建議。

AI原生應用的探索

第一階段：從Talk to DB（0.1版本）到 Talk to Data（0.4版本），我們嘗試讓所有人能用自然語言與數據交互。在V0.1中我們希望通過自然語言對DB數據的處理來完成業務邏輯，如取數、分析、AI/BI等等。在V0.4中，我們開始全面支持talk to data，以結構化數據為核心，通過大語言模型實現自然語言與不同種類、不同來源的數據交互。盡管這個產品在能解決的問題上還有局限。

第二階段：Data-Driven Agent（0.5版本），在這期間業界有了非常多對于Agent的探討，我們開始支持以Agent為核心的構建，Agent的靈活表達支持更多的場景。同時，2023年8月正式成立星辰智能社區，組織名Eosphoros-AI，由螞蟻集團、京東、阿里、美團、唯品會、騰訊以及學界多名優秀的社區同學組成，希望能夠共同探索Data-Driven Agent為核心的應用構建。

第三階段：AI Native Data Apps（0.6版本），在社區的實踐中，我們發現了一些Agent無法解決的問題，如金融、工廠等嚴謹場景下，智能體的編排、決策往往不如人意。于是社區開始探索AI原生的數據為核心的應用，以應用為核心，支持通過AWEL的嚴格SOP設計，支持快速、構建部署AI應用，既可以是chatbot、也可以是一個和Java應用互通的Service。通過DB-GPT和低代碼技術，使AI應用的開發和控制更加高效。

DB-GPT通過以下方法解決AI應用開發中的三大核心難題：

1.系統交互：Pugin&Tools打通傳統應用和AI APP的橋梁，實現SOA應用和AI應用元數據的互通，協議的互通和轉化。

2.低代碼開發：通過低代碼AWEL進行邏輯以及Agent嚴格模式編排，使AI應用的開發迭代更加簡單高效。通過整合現有的工具和API，AWEL語言能夠高效管控并編排Agent的工作流程，同時提供了一系列強大的功能，如數據處理、RAG（檢索增強生成）和數據庫訪問等。此外，我們提供了一系列系統級Agents，以加速應用構建過程。其中，DATA Agents能夠理解自然語言指令，直接從數據湖或數據庫中檢索所需信息。GPT-Vis能夠根據Agent、LLM或者應用的輸出自動構建可視化組件，降低UI/可視化的研發成本。

3.數據處理：整個框架提供了RAG/LLM ETL工具、端到端的評估工具，幫助開發者更好的對數據進行編程和迭代。

Agents是AI原生應用構建的核心。DB-GPT的Agents可以提供服務并能與多種系統兼容，具備全面功能性，覆蓋了從感知到決策到plugin，再到執行的全流程。

插件支持三種模式：

• 嚴格模式：所有流程和關鍵點都是可控的，適合需要精確控制的應用。
• 預編譯研究：適合有明確目標和特定狀態空間的應用，如螞蟻正在應用的基礎設施助理Kevin，可以通過COT或TOT面向決策樹編排。
• 大模型協作ReAct：在目標不明確或解釋發散的場景中，利用大模型的協作能力，如財報或年報的調研。

對于AWEL語言來說，我們其實關注兩點，一點是要支持嚴格模式，不光整個流程是可以通過嚴格模式來編排的，所有中間的通信協議也可以通過AWEL語言來編排。另外一點靈活應用，我們希望AWEL兼容大數據領域主流的框架（如airflow），能夠讓現在已有的ETL的流程比較簡單的接入到AWEL的流程，方便實現從數據處理到RAG服務的端到端的流程。

此外，在構建原生應用的時候，我們提供了很多系統的Agent，這些Agent幫大家可以快速地構建系統應用。如GPT-Vis Agent，它是可以通過自然語言去動態適配應該輸出什么樣的格式。比如你輸出的文本里有一個表格樣式的數據，它可以幫你輸出一個表格。如果有些數據更適合用餅圖或者折線圖，它都自動幫你做適配。同時它支持了非常多的可視化組件。

另外一個Agent是我們一直持續打磨的，叫Data Agent，Data Agent支持大部分的數據庫、湖倉引擎等。Agent對于數據本身的理解是至關重要的，例如一個表格的意義、一個列的意義，甚至是一個常量的意義，大語言模型需要“數據元信息的ETL”來實現這一過程，后續我們也會考慮如何在DB-GPT的數據處理框架里和社區一起共建這部分的能力。

RAG & 數據引擎：

• RAG作為AI原生框架里最核心的模塊，可以作為算子，也可以作為Agent，方便構建AI應用或者Agent。為了實現更好的RAG效果，高質量數據處理的仍然是最先考慮的因素，DB-GPT支持基于文本Trunk、圖譜的數據加工和處理，用戶可以根據實際情況進行定制，在構建我們的RAG應用之前一個比較關鍵的事情是準備評測和驗證的數據集。
• 很多場景下單獨用文本向量做召回準確度是不夠的，現在比較流行的一種方式，是通過知識圖譜的方式去做檢索或者召回。我理解大模型對世界的理解不應該僅僅是一個strings，應該是一個具體的thing（事物）。embedding是不可控、不可知的，但圖譜這種形式其實是比較可控，且可編輯的。因此，我們在DB-GPT上增加了整個基于圖的RAG的能力，今天我們做了一個測試，在GraphRAG同樣場景、同樣準確性的情況下，會比微軟的GraphRAG少50%的token。

我們認為向量檢索是后續提升RAG性能和效果的重要支柱。同時也為了能支持大規模圖、文本、圖片、音視頻等存儲上的向量索引，我們研發了VSAG向量索引庫提供高性能的向量存儲、檢索、實時更新等能力，幫助計算和存儲引擎實現vector as an index，同時也可以作為獨立的組件支持RAG應用中的向量檢索，無論是圖片還是文本。

VSAG向量庫正式開源

我們高興地宣布，VSAG向量庫現在已經正式開源了。這是一個強大的工具，能夠處理達到百億級別的數據索引，特別是圖片和音視頻這類多媒體內容。VSAG不僅能夠輕松處理大規模數據，通過融合多種分類算法以及基于線性分類器的剪枝技術，顯著提高了檢索效率和減少了計算量，性能提升最高達90%。后續會更加廣泛的支持業界的RAG方案，如LLama Index、LangChain等等。

螞蟻及社區應用實踐

在螞蟻集團，我們采用了兩種智能輔助模式：Copilots和Agents。

Copilots作為一個編程輔助工具，能夠給開發者提供智能的建議和風險評估，幫助編寫更安全的代碼，提升BI、分析、ETL等工作的效率。Agents有很多有意思的應用，例如它們能夠主動分析并預測潛在的系統問題，提前防范系統故障。

我們還提供了一個用戶友好的自助分析工具，用戶可以用自然語言提出需求，比如詢問如何快速到達某個地點，工具會自動生成詳細的分析。

DB-GPT應用框架目前已在政企、出行、新零售、金融、互娛領域有廣泛引用，典型的解決方案范式如數據助手、智能管家和AI/BI、Copilots等多種應用場景的創新。

應用案例廣泛分布千行百業：通過DB-GPT構建的水務智能管家、水務行業通用知識庫、水務企業專有知識庫，方便普通用戶通過QA問答獲取水務行業的專業知識，并提供客戶服務、管網運行、水廠生產等各種應用場景的數據查詢和數據分析能力。同時，在出行領域，某大型機場集團通過DB-GPT搭建的人資管理助手、人資招聘助手、知識庫問答等，通過自動化技術，覆蓋從人力資源管理到報告生成的各個業務環節。另外，DB-GPT在京東、唯品會等頭部互聯網公司均有應用。

未來展望：構建全面的數據智能應用生態

今天，我們正式宣布發布 DB-GBT 0.6的版本，該版本支持AI原生應用的全生命周期管理，能夠實現完整的GraphRAG能力支持，同時在Data Agent方面支持Graph，Text2GQL等能力。同時，我們基于GPT-Vis構建了應用生態倉庫，任何開發者都可以在這個倉庫里共享各自的應用。未來，社區還計劃發布面向數據基礎設施的新應用，以及面向ChatBI的全新應用。

星辰智能社區目標是構建全面的數據智能應用生態，覆蓋從數據收集、ETL處理、RAG技術到原生應用框架的完整生命周期。我們始終與生態伙伴、社區伙伴緊密合作，從去年開始開源DB-GPT，到最近開源了RAG的核心向量索引庫VSAG，以及孵化出更多像GPT-Vis的優秀工具。未來，我們還計劃與更多產品、社區開放合作，讓基于AI構建原生應用更簡單更便捷。