超详细教程：如何在笔记本上run起大模型？没有GPU也可以！（Windows/Mac）

在笔记本上Run起大模型

• 好久不见的前言
• 环境搭建
• • Mac环境搭建
  • • conda环境
    • python环境
    • • 安装pytorch
      • 安装transformers
  • Windows环境搭建
  • • conda环境 (可选)
    • python环境
• 模型下载
• • 方式一：通过git下载
  • 方式二：直接通过文件链接下载
  • 方式三：通过huggingface官方提供的模型的下载工具snapshot_download进行下载。
• 模型加载
• Tokenizer加载
• 执行推理
• 结束语

好久不见的前言

好久没更新了，一是最近一直在研究生物医药大模型相关的内容，二是。相信不止是我，每一位工程师朋友都已经感受到大语言模型带给整个行业的颠覆性改变。最近身边就有不少的小伙伴入坑了大模型技术，而即使仍在观望的同学，也对大模型这一崭新的技术表达了深厚的兴趣。

但说到上手使用大模型，尤其是对于之前没有从事过相关工作的小伙伴来说，门槛是不低的。比如，大模型对基本硬件要求很高，没有大的内存和高性能的GPU就很难玩转，层出不穷的各种新技术和工具更是让人不知道从何入手。

因此，以最近刚刚发布的生物医药大模型——BioMedGPT为例，本教程提供了接触大模型技术的第一步，整理和介绍了在MacBook和Windows笔记本上如何从头开始跑起一个大模型，当然里面用到的技术也同样适用于对其他大模型进行操作。

接下来，我将从如何从零在MacBook和Windows笔记本配置隔离的运行环境，如何从HuggingFace上下载模型、加载模型，以及生成文本（执行推理）几个部分进行介绍。对于有python开发经验的伙伴们，可以选择性阅读。

环境搭建

Mac环境搭建

Mac配置

以本人所使用的MacBook Pro (13-inch, M1, 2020)为例
芯片：Apple M1
内存：16 GB
核总数：8（4性能和4能效）
系统：macOS Monterey，12.6.2
CPU架构：ARM64

conda环境

Anaconda是管理Python环境的强大工具,通过其可以创建、管理多个相互独立、隔离的Python环境，并在环境中安装、管理Python依赖。我们可以使用其免费、最小可用版本MiniConda。
可以在Miniconda ‒ conda documentation找到对应的下载链接和安装方式。

python环境

安装好miniconda以后，我们就可以创建一个Python环境,我们在这里创建了一个名为biomedgpt的python环境，并通过conda activate激活该环境。

conda create -n biomedgpt python=3.10
conda activate biomedgpt

为了运行BioMedGPT-LM-7B，我们需要安装pytorch和transformers。

安装pytorch

Mac上安装Pytoch可以在pytorch官网上找到对应的命令。我们只需要按照下图所示选择对应的版本，然后使用官方给出的安装命令即可。pip install torch torchvision torchaudio

安装transformers

Huggingface提供数以千计针对于各种任务的预训练模型，这些模型被广泛的应用于学术研究当中，transformers是Huggingface开源的一个NLP工具，方便使用者调用这些模型（包括训练、推理、量化等）。

大家可以根据自身的需要，选择适合自己的模型进行训练或微调，也可阅读api文档和源码， 快速开发新模型。我们可以通过pip或者conda直接安装transformers。

pip install transformers

如果pip安装很慢，可以指定清华或者阿里等国内镜像源，下面以清华源为例

pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

Windows环境搭建

conda环境 (可选)

conda提供了两个核心能力