transformers模型上傳和共享

• 2020 年 3 月 31 日
• 筆記

來源 | Github

作者 | huggingface

編譯 | VK

【導讀】從v2.2.2開始，你現在可以使用庫中內置的CLI上傳和與社區共享你的微調模型。

首先，在以下網址上創建一個帳戶。

https://huggingface.co/join

然後：

transformers-cli login  # 使用與huggingface.co上相同的憑據登錄

上傳你的模型：

transformers-cli upload ./path/to/pretrained_model/    # 上傳一個文件夾包含weights/tokenizer/config  # 通過`.save_pretrained()`保存    transformers-cli upload ./config.json [--filename folder/foobar.json]    # 上傳單個文件  # (你可以選擇覆蓋其文件名，該文件名可以嵌套在文件夾中)

然後，可以通過其標識符，用戶名和上面的文件夾名稱的組合來訪問模型：

"username/pretrained_model"

請在model_cards/文件夾下添加README.md到倉庫中，其中model_cards/包括：模型描述，訓練參數（數據集，預處理，超參數），評估結果，預期用途和限制等。

現在你的模型現在在havingface.co/models上有一個頁面?

任何人都可以從程式碼中載入它：

tokenizer = AutoTokenizer.from_pretrained("username/pretrained_model")  model = AutoModel.from_pretrained("username/pretrained_model")

列出你在S3上的所有文件：

transformers-cli s3 ls

你還可以刪除不需要的文件：

transformers-cli s3 rm …

原文鏈接：https://huggingface.co/transformers/model_sharing.html

– End –