租用显卡

说明

• 租用显卡是购买一些云平台的gpu服务器来运行大模型，再转发到本地电脑端口实现翻译的对接
• 以下教程以autodl平台举例，在上面通过ollama本地模型加载器去运行Skura模型并对接团子翻译器
• 该平台4090显卡机器参考价格为2.08元/时

操作步骤

1. 注册并登录autodl
2. 筛选需要的gpu显卡，建议4090，次一点的4090D也可以

3. 点击租用，创建实例页面往下滑，镜像选择社区镜像，并输入FishHawk，选择结果内的FishHawk/auto-novel/Sakura-LNovel，然后选择最新的版本

4. 余额不足时需要先预充值几块钱，例如5元都可以了，充值完成后返回页面，确认选好社区镜像后，再立即创建

5. 等待几秒钟，机器状态变为运行中后，再点击JupyterLab

6. 进入终端页面后，再中间输入.run然后回车

7. 接下来需要通过ssh隧道将Sakura服务端口转发到本地，回到控制台页面，将ssh登录指令和密码都复制下来，粘贴到记事本等会儿使用，复制出的ssh指令格式类似于ssh -p 23572 root@connect.nmb1.seetacloud.com

8. 接下来需要编辑一下复制出来的命令，在ssh之后添加-N -L 8080:127.0.0.1:6006。以ssh -p 23572 root@connect.nmb1.seetacloud.com为例，编辑后的命令应为ssh -N -L 8080:127.0.0.1:6006 -p 23572 root@connect.nmb1.seetacloud.com，只用保存编辑后的命令就行了，同时需要每个参数间需要有空格

9. 使用电脑快捷键win+R，输入cmd，确定

10. 输入刚刚编辑过的命令ssh -N -L 8080:127.0.0.1:6006 -p 23572 root@connect.nmb1.seetacloud.com，然后回车

11. 输入yes,再次回车

12. 这里提示输入密码时，粘贴键是无法使用的，(以及这里的密码看不见，但实际在输入)，建议手动照着密码一个一个敲(注意切换为英文输入法，以及注意密码大小写)，然后再次回车

    • 如果密码正确，光标会移动到下一行，并且命令行不会输出字符
    • 密码不对的话，会显示Permission denied, please try again.，这是提示重新输入密码

13. 光标在下一行了也没有任何输出了就是完成了，这时就可以把这个窗口最小化了

14. 回到团子翻译器自定义模型界面，打开Sakura(llama)设置，确认代理地址是不是http://127.0.0.1:8080/v1/chat/completions，然后点击测试，测试成功后打开该翻译源即可

15. 在不使用这个翻译源时，建议回到AutoDL控制台，并将机器关机(关机后不再扣费)，自己电脑上那个黑色窗口也是可以关闭了

16. 再次开机无gpu可用时，可以点击克隆实例，再次创建同地区的其他实例进行开机，已关机或被克隆的机器并不会额外扣费，只是ssh登录指令以及密码可能会发生变化，之前的登录指令需要再次修改一下

    • 在关机后超过了15天，实例被删除了，其实也没什么关系，重新从教程的第一步，重新开始创建实例就行了