内容纲要
前言
前几天在nodeseek看到论坛大佬分享的白嫖腾讯云GPU的帖子,今天捣鼓了下,现分享下记录
源帖:【白嫖】Tesla T4 16G 算力
使用须知
优点
- 免费
- 自带的llama3回复很快
缺点
- 部分模型下载较慢
- 每日凌晨自动关机,重启后ngork链接会发生变化,可以考虑绑定静态域名
运行环境
- Tencent Cloud Studio
- Ollama
- Ngrok / Frp 等内网穿透工具
- OpenWebUI
安装步骤
- 安装Ollama环境
- 登录网站
Cloud Studio地址:Cloud Studio - 创建空间
- 进入工作台,新建终端
- 检测ollama
终端输入命令ollama
可见,ollama已预装 - 更新环境并安装依赖
apt update && apt upgrade -y && apt install -y wget screen curl
- 启动ollama
screen ollama serve
- 拉取相关模型
可选模型:ollama官网
示例ollama pull llama3.2 #启动 llama ollama run llama3.2
- 登录网站
- 安装ngork
- 注册账号
Ngork官网 - 执行安装命令
安装ngork页面提示安装即可,第三步:端口需填写6399
- 记录地址
- 注册账号
OpenWEBUI安装
安装教程:OpenWEBUI安装