哈喽,大家好!
今天分享如何用大模型+本地资料,构建专属知识库。
核心解决的是大模型 幻觉 的问题。我们都知道,大模型对于自己不知道的问题可能会乱答。
比如,如果你向大模型询问你们公司今年的战略目标,大模型可能压根没听说过你们公司。这时候如果大模型回复不知道还好点,如果乱答就误人子弟了。
对于
幻觉
问题,目前是这样解决的,先将背景信息告诉大模型,这样大模型就可以提前学习相关知识, 这时候再向大模型提问,就可以得到准确的答案了。
AnythingLLM 就是解决这样问题的通用框架。除了能解决幻觉问题,还可以用它来读论文、读代码,非常方便。
安装使用非常方便,支持 Win、Mac、Linux 平台,也可以使用Docker安装,不需要编程。
要使用 AnythinLLM,需要设置以下三方面设置
第一,LLM Preference,就是使用哪个大模型, AnythinLLM 支持模型特别多。需要说明的是,如果你用的是中转的ChatGPT接口,选择「Local AI」即可。
第二,Embedding Model,可以把本地资料向量化,这样就可以根据提问的问题,匹配对应的资料片段。如果你的本地资料是保密的,需要用本地的Model,否则可能会造成数据泄露。
第三 , Vector Database 向量数据库,用于存储第二步生成向量。选择 AnythingLLM 自带的即可。
设置完以后,上传本地资料可以使用了。
想深入学习原理的朋友,可以看我之前分享的文章【 】。
下面分享一下我使用的示例,给大家参考下。
第一个是阅读本地代码,解释其中的代码逻辑
也可以让它开发新需求
第二个示例,则是将它作为论文阅读助手,帮助我们快速阅读论文。
有需要的朋友可以试试。
开源地址:https://github.com/Mintplex-Labs/anything-llm
渡码
公众号持续分享AI方面的应用、技术、资讯,欢迎关注。