AI 基操

Catálogo

1. 1. huggingface 下载
2. 2. transformers 安装

huggingface 下载

使用 huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。

安装

pip install -U huggingface_hub

使用国内代理

export HF_ENDPOINT=https://hf-mirror.com

下载

# 下载模型
huggingface-cli download --resume-download gpt2 --local-dir gpt2 --local-dir-use-symlinks False

# 下载数据集
huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext --local-dir-use-symlinks False

# 可以添加 --local-dir-use-symlinks False 参数禁用文件软链接，这样下载路径下所见即所得

transformers 安装

# CPU 
pip install transformers

# GPU 支持
pip install 'transformers[torch]'