文号
933260
阅读
8346
回复
2
收藏
0
快速部署本地LLM
2024/06/22
IP:中国
关键词:ollama,LLM

准备

  1. 性能可堪一用的电脑或手机

  2. 流畅稳定的国际互联网连接

开始:Ollama

电脑:win:

  1. 下载安装XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

  2. 打开输入ollama run (model name)(官网自行查找 例如 ollama run phi3 再启动命令相同)

  3. 下载 等待 使用 (卸载)

Linux:

  1. 下载安装curl -fsSL XXXXXXXXXXXXXXXXXXXXXXXXXXXXX | sh

  2. 同上……

手机:

  1. 下载安装termux XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

  2. 习惯性更新(不必要)输入apt update和pkg update

  3. 下载Linux安装工具  pkg install proot-distro

  4. 下载一个Linux 不一定是deiban  proot-distro install debian

  5. 打开 proot-distro login debian

  6. 同上  (curl -fsSL XXXXXXXXXXXXXXXXXXXXXXXXXXXXX | sh )……

另:

安装检验 ollama -v

下载出错 再输入以重新


后话:参考互联网,手机上建议用近些年的,部署phi3或qwen小模型。用ollama部署LLM很方便,可以作为初学/尝新/快速测试,进阶可学习ModelScope,huggingface

Gdeestan作者
2年4个月前IP:中国
933290
1楼

我的win10安装ollama后,不知道遇上了什么问题,关闭后再次打开ollama并点击view logs并不能像刚安装的时候一样打开ollama的命令行,反而跳转到文件管理器打开~/Local/Ollama目录,然后无法使用。查了一些资料还是无法解决,我就换了VirtualBox+Ubuntu再部署

引用
评论
2年1个月前IP:浙江
938196
2楼

确实需要性能可堪一用的电脑,我的小笔记本根本跑不了

引用
评论
笔记
{{note.content}}
{{n.user.username}}
{{fromNow(n.toc)}} {{n.status === noteStatus.disabled ? "已屏蔽" : ""}} {{n.status === noteStatus.unknown ? "正在审核" : ""}} {{n.status === noteStatus.deleted ? '已删除' : ''}}
  • 编辑
  • 删除
  • {{n.status === 'disabled' ? "解除屏蔽" : "屏蔽" }}
我也是有底线的