當前位置: 妍妍網 > 碼農

推薦 2 個 yyds 的 GitHub 計畫

2024-07-15碼農

01

SEED-Story: 用大模型創造漫畫長篇故事

SEED-Story是由騰訊 ARC 實驗室推出的一個多模態長篇故事生成計畫。它基於大型語言模型(MLLM),能夠 從使用者提供的影像和文本開始,生成包含豐富、連貫的敘事文本以及風格一致的影像的多模態長篇故事。

1️⃣ 開源計畫包括啥

多模態故事生成模型: SEED-Story 模型能夠生成包含文本和影像的故事,這些故事在角色和風格上保持一致性。

StoryStream 數據集: 計畫團隊還釋出了一個專為多模態故事生成訓練和基準測試設計的大規模數據集。

技術方法: SEED-Story 采用了三階段的方法,包括視覺分詞、指令調優和去分詞器適應。

2️⃣ 特色功能

① 使用者自訂故事起點: 使用者可以提供起始影像和文本,SEED-Story 據此生成故事。

② 多模態序列生成: 故事可以包含多達 25 個多模態序列,盡管在訓練中只使用了最多 10 個序列。

③ 視覺與文本的一致性: 生成的影像與敘事文本在風格和角色上保持高度一致。

3️⃣ 如何部署

以下是使用 SEED-Story 生成多模態故事的基本步驟:

① 下載計畫,依賴安裝:確保 Python 環境(推薦使用Anaconda)和 PyTorch 等依賴項已安裝。

git clone https://github.com/TencentARC/SEED-Story.git
cd SEED-Story
pip install -r requirements.txt

② 數據準備:下載並準備 StoryStream 數據集,該數據集包含影像和對應的故事文本。

③ 模型權重下載:從 SEED-Story Hugging Face 下載預訓練的分詞器、去分詞器和基礎模型。

④ 推理過程:使用提供的指令碼進行多模態故事生成和故事視覺化。

SEED-Story 展示了大模型在多模態故事生成領域的潛力。無論是研究人員還是開發者,都可以利用這個工具探索和創造引人入勝的故事。

你可以在 GitHub 上搜尋 SEED-Story 計畫來存取該開源計畫的主頁。 或者關註公眾號逛逛 GitHub 回復: 2024-0714 來獲取開源計畫連結

02

Stirling-PDF: 的本地PDF操作神器

Stirling-PDF, 全面、易用的PDF處理工具, 滿足使用者對 PDF 檔操作的各種需求 以其強大的功能和使用者友好的界面,在 GitHub 上贏得了眾多開發者們的青睞,目前已經獲得了 30k 的 Star 。

它不僅 支持 PDF 檔的分割、合並、轉換、重新組織、添加影像、旋轉、壓縮等多種操作,而且完全在本地執行,確保了數據的安全性和私密性。

1️⃣ 有啥優點?

安全性:Stirling-PDF 不進行任何外發呼叫,所有檔操作都在本地完成,確保了使用者數據的安全性。

功能豐富:支持 PDF 的頁面操作、轉換操作、安全與許可權設定以及其他多種操作,幾乎涵蓋了使用者對 PDF 處理的所有需求。

技術棧:使用Spring Boot + Thymeleaf、PDFBox、LibreOffice、OcrMyPdf等技術構建,保證了套用的效能和穩定性。

2️⃣ 支持什麽功能

頁面操作: 包括PDF檢視、編輯、合並、分割、旋轉、刪除頁面等。

轉換操作: 支持PDF與多種格式之間的轉換,如影像、Word、PPT等。

安全與許可權: 提供密碼添加、PDF許可權設定、浮水印添加、PDF簽名等功能。

其他操作: 包括PDF修復、空白頁檢測、PDF壓縮、OCR處理等。

Stirling-PDF 是一個功能全面、操作簡便、安全性高的 PDF 處理工具。無論您是需要進行日常的 PDF 編輯,還是需要進行專業的 PDF 轉換和處理,Stirling-PDF 都能滿足您的需求。

你可以在 GitHub 上搜尋 Stirling-PDF 計畫來存取該開源計畫的主頁,或者關註公眾號逛逛 GitHub 回復: 2024-0714 來獲取開源計畫連結

掃描關註 逛逛GitHub