如何轻松实现本地大语言模型(LLM)的远程访问（使用Tailscale、Open WebUI和Ollama）

想象一下，在你的本地机器上部署一个强大的语言模型，它运行流畅，响应迅速，也不依赖昂贵的云服务。但问题来了：你只能在这台设备上访问它。如果你想在另一个房间的笔记本电脑上使用，或者与朋友分享该怎么办呢？

如今在本地运行大语言模型（LLMs）越来越普遍，但为多台设备实现远程访问并不总是那么容易。本指南将带你一步步实现一个简单有效的方法，通过Tailscale、Open WebUI和Ollama远程访问本地的LLMs。完成本指南后，你就能安全且轻松地随时随地与你的模型进行交互。让我们开始吧！

以最低的价格获得最好的代理服务！

安全、快速且价格实惠的代理！

为什么要远程访问本地LLMs？

将大语言模型仅限于单个设备会限制你的灵活性。远程访问允许你：

• 从任何设备上与LLM交互

• 避免在性能较弱的设备上运行大型模型

• 保持对数据和处理过程的完全控制

  所需工具：

  • Tailscale：用于设备连接的安全VPN

  • Docker：容器化平台

  • Open WebUI：LLM的网页界面

  • Ollama：本地LLM管理工具

    步骤一：安装并配置Tailscale

    • 下载并在你的本地机器上安装Tailscale。

    • 使用Google、Microsoft或GitHub账户登录。

    • 启动Tailscale。

    • 如果你使用的是macOS，按照以下步骤在终端运行Tailscale。其他系统可以跳过此步骤。

      在终端/cmd中运行以下命令：

      tailscale up
      

      这个命令确保你的设备连接到Tailscale网络。

      步骤二：安装并运行Ollama

      • 在你的本地机器上安装Ollama。

      • 通过终端/cmd使用以下命令下载模型：

        ollama pull 
        

        例如，我使用的是mistral，因此命令为：

        ollama pull mistral
        

        • 使用以下命令运行模型：

          ollama run 
          

          在我的例子中，就是：

          ollama run mistral
          

          你将看到Mistral模型正在运行，可以与它进行交互：

          要退出，只需输入/bye。

          步骤三：安装Docker并设置Open WebUI

          • 首先，你需要在本地机器上安装Docker桌面应用程序。

          • 下一步，启用主机网络模式（host networking）。打开Docker设置(Settings)，进入Resources标签页，然后在Network部分选择启用主机网络模式（Enable host networking）。

            然后，在终端/cmd中运行以下命令：

            docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
            

            这个命令会在Docker容器中运行Open WebUI，并将其连接到Ollama。

            通过访问http://localhost:8080即可打开Open WebUI界面，你可以在这里与本地的LLM进行交互。完成身份验证后，你会看到类似下图的界面：

            如果你通过Ollama加载了多个LLM，可以使用界面上的下拉菜单（红色矩形标记处）轻松切换。

            步骤四：远程访问LLM

            • 在你的本地机器上，通过终端/cmd运行以下命令检查Tailnet的IP地址：

              tailscale ip -4
              

              该命令将返回类似100.x.x.x的IP地址（你的Tailnet IP）。

              • 在你的远程设备上安装Tailscale，具体操作步骤见步骤一。如果你的远程设备是Android或iOS设备，可以忽略步骤一中的第5点，改为打开Tailscale应用来手动确认设备已连接。

              • 在你的远程设备上打开浏览器，访问http://:8080，即可远程访问本地LLM。例如，在我的例子中，我通过手机远程访问了本地LLM，显示如下界面：

                总结：

                借助Tailscale，实现对本地LLM的远程访问变得简单而安全。我已经为你清晰地呈现了每一步的操作指南，但如果你遇到任何问题，请随时留言！