【LLM】DeepSeek-R1-Distill-Qwen-7B部署和open webui

note

• DeepSeek-R1-Distill-Qwen-7B 的测试效果很惊艳，CoT 过程可圈可点，25 年应该值得探索更多端侧的硬件机会。
• DeepSeek-R1系列模型在回答某些问题时，可能会跳过完整思考的过程（例如直接输出“\n\n”）。为了确保模型能进行充分的推理，建议在每次回答开始时，强制要求模型以“\n”开头。

  文章目录

  • note
  • 一、下载 Ollama
  • 二、下载 Docker
  • 三、下载模型
  • 四、部署 open webui
  • 五、相关推理细节
  • 六、用vllm部署
  • Reference

    一、下载 Ollama

    访问 Ollama 的官方网站 https://ollama.com/library/deepseek-r1， 根据系统提示下载适合自己电脑的版本。

    

    二、下载 Docker

    直接点击官方 https://www.docker.com/， 下载适合自己电脑的版本。

    三、下载模型

    以 Distill-Qwen-7B 为例，在电脑终端中输入：ollama run deepseek-r1:7b，7b 的模型大概 4.7G 大小，等待模型下载完成之后即可在终端中输入问题进行测试。下一步会演示如何在 open webui 中使用。

    四、部署 open webui

    在终端中运行下述命令后，可以自动在 docker 中完成部署，然后在本地浏览器中使用

    docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway -e OLLAMA_BASE_URL=http://host.docker.internal:11434 ( http://host.docker.internal:11434 ) --name open-webui ghcr.io/open-webui/open-webui:main

    Open-WebUI 提供了丰富的功能和界面，如直观的聊天界面、Markdown 和 LaTeX 支持、网页浏览能力、提示预设支持等，极大地提升了用户体验。通过 RLHF 注释功能，用户可以对消息进行评级，以创建强化学习数据集，用于训练或微调模型。

    五、相关推理细节

    • 温度设置

      建议将温度参数设在0.5到0.7之间，最好用0.6。可以避免模型输出重复或无逻辑的回答。

    • 提示信息规范

      请不要额外添加系统级的提示，所有说明内容都应直接写在用户的提问中。

    • 数学问题处理

      如果是解决数学问题，建议在问题描述中加入类似下面的指令：“请分步骤推理，并将最终答案放在\boxed{}中。”有助于模型更好地给出详细的解答过程。

    • 模型性能评估

      测试模型时，最好进行多次测试，并对结果取平均值，获得更准确的评测。

    • 充分推理

      DeepSeek-R1系列模型在回答某些问题时，可能会跳过完整思考的过程（例如直接输出“\n\n”）。为了确保模型能进行充分的推理，建议在每次回答开始时，强制要求模型以“\n”开头。

      六、用vllm部署

      pip install vllm
      vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager
      

      然后就能用python调用模型：

      from openai import OpenAI
      # Set OpenAI's API key and API base to use vLLM's API server.
      openai_api_key = "EMPTY"
      openai_api_base = "http://localhost:8000/v1"
      client = OpenAI(
          api_key=openai_api_key,
          base_url=openai_api_base,
      )
      chat_response = client.chat.completions.create(
          model="deepseek-ai/DeepSeek-R1-Distill-Qwen-7B",
          messages=[
              {"role": "system", "content": "You are DeepSeek-R1, created by"},
              {"role": "user", "content": "介绍一下PPO与GRPO算法之间的区别"},
          ],
          temperature=0.7,
          top_p=0.8,
          max_tokens=512,
          extra_body={
              "repetition_penalty": 1.05,
          },
      )
      print("Chat response:", chat_response)
      

      Reference

      [1] DeepSeek-R1本地化部署的两种方案