當前位置: 妍妍網 > 碼農

AnythingLLM:私人ChatGPT,構建專屬知識庫,本地程式碼庫問答助手

2024-04-01碼農

哈嘍,大家好!

今天分享如何用大模型+本地資料,構建專屬知識庫。

核心解決的是大模型 幻覺 的問題。我們都知道,大模型對於自己不知道的問題可能會亂答。

比如,如果你向大模型詢問你們公司今年的戰略目標,大模型可能壓根沒聽說過你們公司。這時候如果大模型回復不知道還好點,如果亂答就誤人子弟了。

對於 幻覺 問題,目前是這樣解決的,先將背景資訊告訴大模型,這樣大模型就可以提前學習相關知識, 這時候再向大模型提問,就可以得到準確的答案了。

AnythingLLM 就是解決這樣問題的通用框架。除了能解決幻覺問題,還可以用它來讀論文、讀程式碼,非常方便。

安裝使用非常方便,支持 Win、Mac、Linux 平台,也可以使用Docker安裝,不需要編程。

要使用 AnythinLLM,需要設定以下三方面設定

第一,LLM Preference,就是使用哪個大模型, AnythinLLM 支持模型特別多。需要說明的是,如果你用的是中轉的ChatGPT介面,選擇「Local AI」即可。

第二,Embedding Model,可以把本地資料向量化,這樣就可以根據提問的問題,匹配對應的資料片段。如果你的本地資料是保密的,需要用原生的Model,否則可能會造成數據泄露。

第三 Vector Database 向量資料庫,用於儲存第二步生成向量。選擇 AnythingLLM 內建的即可。

設定完以後,上傳本地資料可以使用了。

想深入學習原理的朋友,可以看我之前分享的文章【 】。

下面分享一下我使用的範例,給大家參考下。

第一個是閱讀本地程式碼,解釋其中的程式碼邏輯

也可以讓它開發新需求

第二個範例,則是將它作為論文閱讀助手,幫助我們快速閱讀論文。

有需要的朋友可以試試。

開源地址:https://github.com/Mintplex-Labs/anything-llm

渡碼 公眾號持續分享AI方面的套用、技術、資訊,歡迎關註。