當前位置: 妍妍網 > 碼農

WiseFlow:開源AI資訊挖掘工具,傳統的爬蟲可以下線了

2024-07-10碼農

在這個大數據時代,我們每天面對的都是海量的資訊。

但我們的能力是有限的,想要獲得自己想要的資訊需要消耗我們大量的時間和精力。

要是有人能幫我每天 整理資訊 該有多好啊,如果能幫我 概括 一下就更好了!

哎!俗話說得好,瞌睡了就有人來送枕頭!

新開源的工具WiseFlow就是 整理資訊 、概括資訊 的好手!

掃碼加入AI交流群

獲得更多技術支持和交流

(請註明自己的職業)

計畫介紹

WiseF low 是一款快速準確的資訊挖掘工具。

我們在使用時提前設定好自己的 關註關鍵詞 ,然後WiseFlow就能自動的從 網站、微信公眾號、社交平台 等各種來源提取簡明資訊,自動分類並上傳到 資料庫。

從圖片中我們可以看到, WiseFlow 給出了每一條公眾號和網站的內容概括,簡單明了。

WiseFlow 采用 統計學習 (依賴開源計畫 GNE)和 LLM 相結合的方式,適應超過 90% 的新聞頁面。

同時配置了專用的 mp 文章解析器 ,使得 WiseFlow 能更好地提取公眾號的文章資訊。

計畫特點

聽到這有人可能就懵了。那這玩意兒和傳統的爬蟲和LLM-Agent有什麽區別?

WiseFlow做的是 數據的處理 ,包括 過濾、提取和 找出我們要的東西並且告訴我們這東西大概是什麽。

而爬蟲呢,是從網站上直接獲取 原始資訊 ,那是有什麽就拿什麽,沒有其他功能。

LLM-大模型 則是更註重 下遊套用。

這三者之間還有不小的聯系呢!如果將 WiseFlow 和爬蟲組合,就可以幫助我們在獲取的原始數據基礎上做更好的數據處理和過濾。

也可以將 WiseFlow和大模型Agent連線 ,將 WiseFlow 作為知識基礎,來更好地幫助大模型處理事物。

聽到這你是否已經動心了呢?什麽?擔心這麽多內容需要很大的記憶體和硬體要求?

那你的擔心完全是多余的!

WiseFlow 不使用 任何向量模型 開銷極小 ,不需要 GPU ,適用於 任何硬體環境 ,僅需要 9B 就能執行!

計畫連結:

https://github.com/TeamWiseFlow/wiseflow

關註「 向量光年 」公眾號

加速全行業向AI的改變

關註「 開源AI計畫落地 」公眾號

與AI時代更靠近一點

關註「 AGI光年 」公眾號

獲取每日最新咨詢