当前位置: 欣欣网 > 码农

AnythingLLM:私人ChatGPT,构建专属知识库,本地代码库问答助手

2024-04-01码农

哈喽,大家好!

今天分享如何用大模型+本地资料,构建专属知识库。

核心解决的是大模型 幻觉 的问题。我们都知道,大模型对于自己不知道的问题可能会乱答。

比如,如果你向大模型询问你们公司今年的战略目标,大模型可能压根没听说过你们公司。这时候如果大模型回复不知道还好点,如果乱答就误人子弟了。

对于 幻觉 问题,目前是这样解决的,先将背景信息告诉大模型,这样大模型就可以提前学习相关知识, 这时候再向大模型提问,就可以得到准确的答案了。

AnythingLLM 就是解决这样问题的通用框架。除了能解决幻觉问题,还可以用它来读论文、读代码,非常方便。

安装使用非常方便,支持 Win、Mac、Linux 平台,也可以使用Docker安装,不需要编程。

要使用 AnythinLLM,需要设置以下三方面设置

第一,LLM Preference,就是使用哪个大模型, AnythinLLM 支持模型特别多。需要说明的是,如果你用的是中转的ChatGPT接口,选择「Local AI」即可。

第二,Embedding Model,可以把本地资料向量化,这样就可以根据提问的问题,匹配对应的资料片段。如果你的本地资料是保密的,需要用本地的Model,否则可能会造成数据泄露。

第三 Vector Database 向量数据库,用于存储第二步生成向量。选择 AnythingLLM 自带的即可。

设置完以后,上传本地资料可以使用了。

想深入学习原理的朋友,可以看我之前分享的文章【 】。

下面分享一下我使用的示例,给大家参考下。

第一个是阅读本地代码,解释其中的代码逻辑

也可以让它开发新需求

第二个示例,则是将它作为论文阅读助手,帮助我们快速阅读论文。

有需要的朋友可以试试。

开源地址:https://github.com/Mintplex-Labs/anything-llm

渡码 公众号持续分享AI方面的应用、技术、资讯,欢迎关注。