Skip to content

本地AI模型

本地AI模型翻译是指将AI翻译模型完全部署在用户本地设备上,由团子翻译器调用本地运行的模型进行翻译的一种高级方式。该方式不依赖外部网络请求,所有数据处理均在本地完成,适用于对隐私安全、响应速度和自定义能力有较高要求的用户。

由于大语言模型在推理过程中需要大量并行计算,本地AI模型对电脑硬件,尤其是显卡(GPU)要求较高。建议使用 NVIDIA 3060 12GB 及以上型号显卡,以确保模型能够流畅加载与运行。若追求更高翻译质量(如使用更大参数量的模型),推荐使用 3090、4090 等高端显卡。对于本地硬件配置不足但希望体验本地化AI翻译的用户,也可考虑通过租用云显卡服务(如算力云平台)来部署模型,以较低成本获得高性能算力支持。

本地AI模型的核心优势在于:

  • 数据隐私性强:所有翻译内容均在本地处理,无需上传至第三方服务器,有效避免敏感信息泄露。
  • 调用灵活、可拓展性高:支持自定义模型参数、提示词(Prompt)与上下文长度,可针对漫画、轻小说等特定文本优化翻译风格。
  • 离线可用:一旦部署完成,无需联网即可持续使用,适合无网或网络受限环境。

目前支持的本地模型包括:

  • Sakura(llama 架构)
  • Sakura(tgw 模型分支)

建议在具备相应硬件条件或云算力支持的前提下,结合个人使用场景选择合适的本地模型方案,以实现高质量、高安全性的翻译体验。

操作说明:

  1. 先确认自己电脑配置是否带得动本地AI模型,查看方法
  2. 下载llama模型启动器和sakura模型文件,下载方法
  3. 运行llama启动器并且加载好模型,运行方法
  4. 进入团子翻译器的设置面板,点击【翻译源设定】,选择【本地AI翻译】;
  5. 点击【测试】按钮,验证一次翻译是否可用;
  6. 测试成功后,回到本地AI翻译界面,打开设置项的【开关】。可同时打开多个配置项开关。

Image-221

代理地址参数说明:

  1. Sakura(llama ) 启动器默认地址:http://127.0.0.1:8080/v1/chat/completions
  2. Sakura(tgw ) 启动器默认地址:http://127.0.0.1:5000/v1/chat/completions

闽ICP备2023002998号-2