在Mac M1/M2上使用Hugging Face Transformers进行中文文本分类（完整指南）

在Mac M1/M2上使用Hugging Face Transformers进行中文文本分类（完整指南）

前言

随着Apple Silicon芯片（M1/M2）的普及，越来越多的开发者希望在Mac上运行深度学习任务。本文将详细介绍如何在Mac M1/M2设备上使用Hugging Face Transformers库进行中文文本分类任务，包括环境配置、数据处理、模型训练和性能优化等完整流程。

环境准备

1. 硬件和系统要求

• 设备：Apple M1/M2系列芯片的Mac

• 系统：macOS 12.3 (Monterey)或更高版本

• Python：3.8或更高版本

2. 安装必要的库

# 创建虚拟环境
python -m venv .venv
source .venv/bin/activate
# 安装支持MPS的PyTorch
pip install --pre torch torchvision --extra-index-url https://download.pytorch.org/whl/nightly/cpu
# 安装其他依赖
pip install transformers datasets evaluate

数据处理

1. 加载和预处理数据集

我们使用中文情感分析数据集ChnSentiCorp：

from datasets import load_from_disk
from transformers import AutoTokenizer
# 加载数据集
dataset = load_from_disk('./data/ChnSentiCorp')
# 缩小数据集规模
dataset['train'] = dataset['train'].shuffle().select(range(1500))
dataset['test'] = dataset['test'].shuffle().select(range(100))
# 初始化tokenizer
tokenizer = AutoTokenizer.from_pretrained('hfl/rbt3')
# 编码函数
def encode_data(data):
    return tokenizer.batch_encode_plus(data['text'], truncation=True)
# 应用编码
dataset = dataset.map(encode_data, batched=True, batch_size=1000, num_proc=4, remove_columns=['text'])
# 过滤过长的句子
dataset = dataset.filter(lambda x: len(x['input_ids'])