白丝 捆绑 条记本上装DeepSeek
这两天deepseek-R1在春节刷屏了,他用较低的资本复现了Open Ai O1推理模子的后果,把原本OpenAi唔得死死的机密给公开了。愈加犀利的是他还开源了,让每个东谈主齐有契机作念出O1这样的家具白丝 捆绑,真的太炸裂了。
当今DeepSeek推理模子这样火,而且最近由于黑客袭击也往往崩,那咱们就来建一个土产货的推理大模子吧,趁春节假期速即学起来。
我先容的内容不需要有任何时候常识、也不需要有开导教化,全部通过软件操作和号令行来完成(复制黏贴,搬砖大法)。
01 土产货装置环境准备1.1、电脑硬件环境先说一下电脑硬件条目,要是要顺畅的运行提倡是以下的配置。
图片
不外也无须操心,咱们仅仅使用大模子而不是作念微挽救覆按,是以硬件只消骄傲最低条目就行了。实践使用下来我的Mac电脑,16G内存、集成显卡也能运行起来也挺顺畅的。
翌日要微调、覆按模子咱们再筹议是否要升级电脑八成租用云环境。
1.2、系统装置环境图片
此次装置要用到两个器具Docker和Ollama这两个容器,什么叫容器呢?即是你的欺诈要津和模子运行的环境。
1)Docker容器:是一个开源的容器引擎,你的欺诈只消装置一次就能在多样平台上运行。在这里咱们用它来运行WebUI这个大模子的前端操作界面。
2)Ollama:是一个开源的AI器具平台,他可以托管许多的大模子在土产货运行,撑抓模子的即兴切换。
容器的公正,即是你无须装置一堆pip、Conda这类python包不断器具,也无须把你土产货环境变量改的颠三倒四,更无须把要津和模子装置的到处齐是占用资源。这些他齐帮你管了,你部署即用止境的便捷。
底下咱们就驱动玩大模子吧,对了,有个热切的事情提前说下
你需要提前准备梯子,装置进程中你的梯子必须保抓采集运动。
02 用Ollama装置模子图片
2.1、装置Ollama你需要去看望“https://ollama.com/”去下载Ollama的客户端,他当今撑抓“Linux、MacOs、Windows”,凭据你电脑的操作系统选拔下载即可。(我用的是Mac)
载到土产货后装置ollama欺诈(进程相比浅近,全部默许就行了),装置完成后你可以在系统托盘中找到Ollama图标,诠释他依然运行了(他莫得图形界面,用号令走时行)
图片
2.2、赢得装置提示
Ollama运行后咱们就要去下载deepseek-R1模子了,咱们照旧官网选拔Modle这里有许多的大模子可供选拔,deepseek-R1排在了首位,咱们径直点击干涉主题。
图片
干涉主题后咱们可以看到deepseek提供了许多的版块(数字越大,对显卡的显存条目越高),我的电脑是Mac用的集成显卡,是以咱们选一个小版块的7B下载,有4090显卡的土豪同学平日。
图片
2.3、装置R1模子模子装置后,咱们复制提示用来在土产货运行deepseek。
运行号令
ollama run deepseek-r1:7b
底下咱们大开结尾运行上头的号令,要是是第一次使用该模子,Ollama且归其网站下载后再运行。要是土产货依然下载了,大模子就径直运行起来了。
图片
输入几句话试了下,他确乎很快就复兴我,看来装置的没问题。
03、装置Docker环境号令行交互太不友好了,咱们来装一个操作界面。这里我选拔的是WebUI,咱们把他放到Docker这个容器里来不断,无须装置python的包不断器具,也无须到处找你要津装置在那处了,他齐帮你管了。
3.1、装置Docker先从官网 https://www.docker.com 下载,选拔你适应你操作系统的版块就行了,下载后径直装置就行了(按操作履行即可,这里不赘述了)
图片
3.2、运行Docker环境
装置后运行Docker环境就能启动Docker,他不仅是系统托盘有个“小鲸鱼”图标,同期他也有界面,你可以看到Docker中装置了哪些欺诈要津。
3.3、装置WebUIDocker装好后咱们来运行WebUI界面,次第也和装置模子一样,你可以看望WebUI在GitHub上的地址来赢得号令。
看望这个地址:https://github.com/open-webui/open-webui
咱们径直让他在Docker上运行,选拔“If Ollama is on your computer, use this command”
图片
赢得后你径直在结尾输入如下号令把WebUI装置到Docker并运行。图片
3.4、启动WebUI
启动WebUI你先要确保ollama中的deepseek处于运奇迹态,你要是不贯注关闭了可以使用以下号令从头启动,而且不要关闭这个窗口。
启动deepseek号令
ollama run ;deepseek-r1:7b
图片
点击Docker中上图的蚁合就能大开WebUI的界面也可以在浏览器输入“http://localhost:3000/”干涉WebUI了。
04、使用DeepSeek4.1、WebUI主邀功能图片
WebUI的功能还长短常强大的,除了作念基本问答除外,他撑抓模子切换,文献上传等功能,致使还撑抓语音输入和东谈主机对话。
4.2、DeepSeek问答武艺图片
天然唯有7B的小模子,通过推理给出的内容确乎相比把稳,不外生成速率较慢(应该是我电脑的原因),天然与官网的671B比把稳进度要稍逊一筹,不外这也正常毕竟仅仅7B的小模子。
4.3、推理与传统问答相比咱们和通常大小的qwen7B来相比下,领有推理武艺和传统问答模子有什么区别。DeepSeek经过推理科班建树的回答了十几条,而千问回答的则止境浅近。竟然有莫得推理武艺分辩确乎很大。
图片
4.4、文献和图片分析
底下来看下他的文献分析武艺和图片识别武艺。在文献分析和综合方面挺可以的通读了全文,而且对内容进行针织的归传颂纪念。
图片
图片识别武艺就不行了,DeepSeek7B这个模子不具备识别图片的武艺。而官网的模子则可以准确的读出图片中的主要内容,而且给出了示例以及图片纪念。
图片
讲在临了
DeepSeek经过推理后给出的内容确乎比传统问答模子要把稳和竣工,即使是一个7B的小模子给出的戒指也止境好,天然比官网略逊。
文爱剧情在文献分析方面DeepSeek分析戒指也相比竣工和忠于原文白丝 捆绑,不外土产货的7B版块不可识别图片是个缺憾。
本站仅提供存储干事,总共内容均由用户发布,如发现存害或侵权内容,请点击举报。