deepseek大模型
共 1 條筆記
2025-02-02 11:21
原文： deepseek大模型本地部署知識庫三之anythingll 🎉 背景引入
- 前兩天介紹的nipsy和部署本地大模型的影片引發大家對本地部署的興趣，但大家在技術和硬體上遇到問題，今天介紹相對簡單的第三種方式，並回答兩個集中問題。 📚 本地部署大模型私有知識庫解析
- 含義：把私人資料、公司資料（如公司文件、行業資料、個人筆記等）整理存放在專為大模型準備的本地資料庫，方便大模型隨時查詢，資料不上傳雲端，可在無網路狀態工作，保障安全，還能按需更新資料庫並微調大模型。
- 適合行業和人群：行政企業、醫院、保密單位、銀行等大型企業，以及對智慧財產權和個人資料隱私保護有高要求且有AI處理需求的個人。 📊 本地部署與網路端應用的區別
- 資料準確性：網路端大模型（如pad gbt、克勞德）存在“大模型幻覺”問題，會編造答案，而本地部署結合rag技術，大模型先查詢本地知識庫再生成答案，更準確靠譜。
- 網路安全：網路端應用可能需上傳核心資料，存在資料洩露風險，本地部署則無此擔憂，資料在本地處理更安全。 💻 硬體需求
- 企業若用deep seek，使用六七么b模型需1400g視訊記憶體，成本高昂，適合大型企業。
- 個人體驗部署：博主實測不同電腦配置執行情況不同，辦公本可流暢跑1.5b模型，七b能跑但慢；遊戲本4g視訊記憶體能跑七b模型，十四b較勉強；洋垃圾桌上型電腦（e5 cpu + 二零八零太魔改顯示卡）能流暢跑32b模型，也能跑70b模型 。 📝 anything large language model部署步驟
- 所需軟體：olama、deep seek、nomic、anything large language model 。
- 下載方式：deep seek和olama之前介紹過，nomic在olama中搜尋下載。
- 設定步驟：在小扳手處進入設定頁面，關注lim首選項和大模型首選項，大模型供應商選laman尤拉馬model下的下載模型，嵌入引擎供應商選布拉瑪明白的model下的諾米克，儲存返回。
- 上傳檔案：新建工作區，點選箭頭和大框框選文字上傳，系統自動向量化處理，選新上傳檔案點move to workspace載入到工作空間，完成知識庫上傳，可在工作區輸入問題對話。