當前位置: 妍妍網 > 碼農

一周漲了 15k 的 Star!炸裂開源!

2024-05-21碼農

一鍵將URL轉換為LLM友好輸入的工具

Reader是由Jina AI開發的一項創新開源工具,致力於改善大型語言模型(LLMs)的輸入品質。 這個工具不僅免費、穩定,而且可延伸,是Jina AI核心產品之一。

開源地址:https://github.com/jina-ai/reader

它透過兩個主要功能簡化了資訊的獲取和處理:

1. URL轉換: 透過在任何URL前添加 https://r.jina.ai/ ,Reader可以將網頁內容轉換為LLM友好的格式,自動為缺少 alt 標簽的圖片生成說明,並以特定格式呈現。

2. 網路搜尋: 使用 https://s.jina.ai/ 字首,Reader 能夠搜尋網路並返回最相關的五個結果,每個結果都以 LLM 友好的格式呈現。

舉個例子

我在 GPT-4 的百度百科主頁網址前添加 https://r.jina.ai/:

點選回車後,就會輸出如下格式,該格式可以讓 LLM 更好的提取資訊:

2. 用C語言和CUDA訓練大型語言模型

在深度學習領域,PyTorch和TensorFlow等框架幾乎占據了主導地位。但如果你對底層原理充滿好奇,或者想從頭開始理解模型訓練的每一個細節,那麽 llm.c 計畫絕對值得一探。

這個開源計畫短短一周,就獲得了 15k 的 Star!

llm.c 是一個用純C和CUDA編寫的大型語言模型(LLM)訓練計畫。它的核心目標是提供一個簡單、清晰的實作(僅僅 1000 行程式碼),讓使用者能夠在不需要龐大框架支持的情況下,訓練和理解GPT-2模型。

這個計畫不僅是對技術的一次挑戰,也是對教育的貢獻,因為它讓使用者能夠深入到模型訓練的每一個細節。

本計畫以簡潔、直觀的方式,將復雜的深度學習模型訓練過程用C語言呈現出來,讓更多人能夠接近並理解這一領域。

開源地址:https://github.com/karpathy/llm.c

歷史盤點

逛逛 GitHub 每天推薦一個好玩有趣的開源計畫。 歷史推薦的開源計畫已經收錄到 GitHub 計畫,歡迎 Star:

地址:https://github.com/Wechat-ggGitHub/Awesome-GitHub-Repo


推薦閱讀

1.

2.

3.

4.