本地部署
共 1 条笔记
2025-02-02 11:21
原文： deepseek大模型本地部署知识库三之anythingll 🎉 背景引入
- 前两天介绍的nipsy和部署本地大模型的视频引发大家对本地部署的兴趣，但大家在技术和硬件上遇到问题，今天介绍相对简单的第三种方式，并回答两个集中问题。 📚 本地部署大模型私有知识库解析
- 含义：把私人数据、公司数据（如公司文档、行业数据、个人笔记等）整理存放在专为大模型准备的本地数据库，方便大模型随时查找，数据不上传云端，可在无网络状态工作，保障安全，还能按需更新数据库并微调大模型。
- 适合行业和人群：行政企业、医院、保密单位、银行等大型企业，以及对知识产权和个人数据隐私保护有高要求且有AI处理需求的个人。 📊 本地部署与网络端应用的区别
- 数据准确性：网络端大模型（如pad gbt、克劳德）存在“大模型幻觉”问题，会编造答案，而本地部署结合rag技术，大模型先查找本地知识库再生成答案，更准确靠谱。
- 网络安全：网络端应用可能需上传内核数据，存在数据泄露风险，本地部署则无此担忧，数据在本地处理更安全。 💻 硬件需求
- 企业若用deep seek，使用六七么b模型需1400g显存，成本高昂，适合大型企业。
- 个人体验部署：博主实测不同电脑配置运行情况不同，办公本可流畅跑1.5b模型，七b能跑但慢；游戏本4g显存能跑七b模型，十四b较勉强；洋垃圾台式机（e5 cpu + 二零八零太魔改显卡）能流畅跑32b模型，也能跑70b模型 。 📝 anything large language model部署步骤
- 所需软件：olama、deep seek、nomic、anything large language model 。
- 下载方式：deep seek和olama之前介绍过，nomic在olama中搜索下载。
- 设置步骤：在小扳手处进入设置页面，关注lim首选项和大模型首选项，大模型供应商选laman欧拉马model下的下载模型，嵌入引擎供应商选布拉玛明白的model下的诺米克，保存返回。
- 上传文件：新建工作区，点击箭头和大框框选文本上传，系统自动矢量化处理，选新上传文件点move to workspace加载到工作空间，完成知识库上传，可在工作区输入问题对话。