【HuggingFace 如何上传数据集】快速上传图片、文本等各种格式的数据

如果只是为了上传备份、或者迁移数据，可以不用 huggingface dataset，而是直接使用 HfApi()
来上传文件夹。

Upload a folder

使用 upload_folder() 函数将本地文件夹上传到现有仓库。指定要上传的本地文件夹路径、在仓库中的目标位置以及要添加文件夹的仓库名称。根据仓库类型，您可以选择将仓库类型设置为 dataset、model 或 space。

from huggingface_hub import HfApi
api = HfApi()

# Upload all the content from the local folder to your remote Space.
# By default, files are uploaded at the root of the repo
api.upload_folder(
    folder_path="/path/to/local/space",
    repo_id="username/my-cool-space",
    repo_type="dataset",
)

如果您不想使用硬编码的 .gitignore 文件，可以使用 allow_patterns 和 ignore_patterns 参数来筛选要上传的文件。这些参数接受单个模式或模式列表。模式是标准通配符（globbing 模式），如 此处 文档所述。如果同时提供 allow_patterns 和 ignore_patterns，则两种约束都会生效。

参考文档：https://hugging-face.cn/docs/huggingface_hub/guides/upload