本地AI模型
本地AI模型翻译是指将AI翻译模型完全部署在用户本地设备上,由团子翻译器调用本地运行的模型进行翻译的一种高级方式。该方式不依赖外部网络请求,所有数据处理均在本地完成,适用于对隐私安全、响应速度和自定义能力有较高要求的用户。
由于大语言模型在推理过程中需要大量并行计算,本地AI模型对电脑硬件,尤其是显卡(GPU)要求较高。建议使用 NVIDIA 3060 12GB 及以上型号显卡,以确保模型能够流畅加载与运行。若追求更高翻译质量(如使用更大参数量的模型),推荐使用 3090、4090 等高端显卡。对于本地硬件配置不足但希望体验本地化AI翻译的用户,也可考虑通过租用云显卡服务(如算力云平台)来部署模型,以较低成本获得高性能算力支持。
本地AI模型的核心优势在于:
- 数据隐私性强:所有翻译内容均在本地处理,无需上传至第三方服务器,有效避免敏感信息泄露。
- 调用灵活、可拓展性高:支持自定义模型参数、提示词(Prompt)与上下文长度,可针对漫画、轻小说等特定文本优化翻译风格。
- 离线可用:一旦部署完成,无需联网即可持续使用,适合无网或网络受限环境。
目前支持的本地模型包括:
- Sakura(llama 架构)
- Sakura(tgw 模型分支)
建议在具备相应硬件条件或云算力支持的前提下,结合个人使用场景选择合适的本地模型方案,以实现高质量、高安全性的翻译体验。
操作说明:
- 先确认自己电脑配置是否带得动本地AI模型,查看方法
- 下载llama模型启动器和sakura模型文件,下载方法
- 运行llama启动器并且加载好模型,运行方法
- 进入团子翻译器的
设置面板
,点击【翻译源设定】,选择【本地AI翻译】; - 点击【测试】按钮,验证一次翻译是否可用;
- 测试成功后,回到
本地AI翻译界面
,打开设置项的【开关】。可同时打开多个配置项开关。
代理地址参数说明:
- Sakura(llama ) 启动器默认地址:http://127.0.0.1:8080/v1/chat/completions
- Sakura(tgw ) 启动器默认地址:http://127.0.0.1:5000/v1/chat/completions