隨著生成式 AI 概念的火爆，以 ChatGPT、通義大模型為代表，市場上湧現了一系列商用或者開源的大模型，同時基於大語言模型（LLM ）以及 AI 生態技術棧構建的套用以及業務場景也越來越多。
眾所周知，LLM 包含數十億甚至萬億級別的參數，其架構復雜，訓練和推理涉及大量計算資源。
這些特性使得它們在實際套用中可能表現出意料之外的行為，同時也帶來了效能、安全性和效率等方面的挑戰。
LLM 參數量不斷增長
圖片來源：
https://www.alidraft.com/2023/12/19/deploy-your-llm-model-on-cloud-efficent/
那麽，如何監控並保障大模型套用上線的效能以及使用者體驗？如何支持復雜拓撲場景下 LLM 套用領域的鏈路視覺化分析以及問題根因定位？需要從成本以及效果等方面獲得線上實際表現，輔助選擇、分析、評估以及最佳化叠代大語言模型等。
因此，針對 LLM 套用技術棧，構建行之有效的可觀測能力解決方案就成為關鍵。
由於模型本身的復雜性、數據處理的規模以及套用的動態環境，實作 LLM 套用的可觀測性面臨著諸多難點，比如 ：
1、數據量與復雜度：
LLM 在訓練和推理過程中會產生大量的數據，這包括但不限於模型參數、中間輸出、效能指標、系統日誌等。處理如此規模的數據需要高效的數據管理和儲存方案。
數據的復雜度還體現在多模態輸入（文本、影像、音訊等）和多階段處理流程上，這增加了監控和分析的難度。
2、效能與即時性：
實作可觀測性往往需要額外的計算資源和網路頻寬，這對效能敏感的 LLM 套用是一個挑戰。
即時監測和響應的能力要求可觀測性系統能夠即時捕獲並分析關鍵指標，以便及時發現和解決問題。
3、安全與私密：
LLM 套用通常涉及敏感數據的處理，如何在保護使用者私密的同時收集必要的可觀測性數據是一個難點。
安全性要求確保可觀測性數據不被未授權存取或濫用，同時也要防止數據泄露。
4、整合與相容性：
技術棧的多樣性意味著可觀測性解決方案需要與不同平台、框架和工具相容。
整合多個系統的可觀測性數據，尤其是當涉及到雲環境和本地部署的混合架構時，會變得更加復雜。
5、語意理解和模型解釋：
對於 LLM 而言，理解模型內部的工作原理和決策過程是一個難點，這需要深度的語意分析和模型解釋技術。
監控和報告不僅要涵蓋技術指標，還要能反映模型的準確性和偏見。
6、動態調整與自適應：
LLM 套用的可觀測性解決方案應該能夠根據系統負載和資源可用性動態調整。
自適應機制對於應對不可預測的工作負載和效能瓶頸至關重要。
7、成本與效率：
實施全面的可觀測性可能會帶來較高的成本，特別是在數據儲存和計算資源方面。
需要權衡可觀測性的深度和廣度與總體成本，尋找最優的平衡點。
解決這些難點通常需要采用先進的數據處理技術、高效能的計算架構、安全的通訊協定、智慧的分析演算法以及靈活的資源配置策略。此外，持續的監控和叠代改進也是保持可觀測性系統有效性的關鍵。
當然，這些問題和挑戰，對阿裏雲技術專家蔡健來說，已經有了相應的解決方案 。
蔡健從事可觀測產品 ARMS 與 EagleEye 的研發、設計與布道，具備豐富的可觀測領域技術架構以及實踐經驗，成功推進 ARMS 套用效能監控和套用安全 (RASP) 融合解決方案落地，關註 APM 以及 OpenTelemetry 開源社群生態等最新動態。
目前關註大語言模型領域可觀測需求場景，探索支持 LLM 套用層到底層基礎設施的全棧可觀測能力解決方案以及最佳實踐。
8 月 15 日至 16 日，GOTC 2024 大會將於上海張江科學會堂舉行。在 「LLMOps 最佳實踐」 論壇，蔡健將以【LLM 套用可觀測解決方案探索與實踐】為題發表演講，深入探討 LLM 套用可觀測的關鍵關註點、高品質數據采集與上報方法，並詳細介紹阿裏雲的 LLM 套用可觀測解決方案，分享客戶實踐案例，展望未來 LLM 套用可觀測的發展趨勢與面臨的挑戰。
GOTC 2024 與上海浦東軟體園聯合舉辦，並結合 「GOTC（全球開源技術峰會）」 與 「GOGC（全球開源極客嘉年華）」，旨在打造一場全新的開源盛會。
全球開源技術峰會（Global Open-source Technology Conference，簡稱 GOTC）始於 2021 年，是面向全球開發者的開源技術盛會；2024 全球開源極客嘉年華（GOGC 2024）由浦東軟體園攜手 S 創共建，與開源中國、Linux 基金會等品牌聯合呈現。
此次大會將集結全球範圍內對開源技術充滿熱情的開發者、社群成員、創業者、企業領袖、媒體人，以及各開源計畫套用場景的產業精英、跨界才俊與年輕力量。透過主題演講、圓桌討論、創新集市、人才集市、黑客松、技術展示和互動工作坊等形式，與會者將有機會交流實踐經驗、探索前沿技術，讓我們一起激發創新活力、展示開源魅力、促進跨領域合作。
GOTC 2024 報名通道現已開啟，誠邀全球各技術領域開源愛好者共襄盛舉！
掃碼或長按辨識二維碼
更多大會資訊，存取官網檢視：
https://gotc.osc
hina.net
關註「OSC開源社群」微信公眾號，
後續將推播關於 GOTC 2024 的更多動態。
⬇️ 點選「閱讀原文」，一鍵報名 GOTC 2024
