# キャッシュ管理

Hugging Face からデータセットをダウンロードすると、データはローカルに保存されます。Hugging Face のファイルは通常、`huggingface_hub` のキャッシュに保存され、デフォルトでは `~/.cache/huggingface/hub` に配置されます。詳細や保存場所の変更方法については、[Hub キャッシュのドキュメント](https://huggingface.co/docs/huggingface_hub/guides/manage-cache)を参照してください。

Hubキャッシュにより、🤗 Datasetsは、データセットを使用するたびにHugging Faceからデータセットファイルを再ダウンロードすることを回避できます。

🤗 Datasets には、[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset) オブジェクトで使用される Arrow 形式に変換されたデータセットを保存するための独自のキャッシュもあります。

このガイドでは、🤗 Datasets のキャッシュに焦点を当て、以下の方法について説明します：

- キャッシュディレクトリを変更します。
- …
- ディレクトリ内のキャッシュファイルをクリーンアップします。
- キャッシュの有効化または無効化。

## キャッシュディレクトリ

デフォルトの🤗 Datasetsキャッシュディレクトリは`~/.cache/huggingface/datasets`です。シェル環境変数`HF_HOME`を別のディレクトリに設定することで、キャッシュの保存場所を変更できます。

```
$ export HF_HOME="/path/to/another/directory"
```

代わりに、`HF_DATASETS_CACHE` 環境変数を設定して、datasets 固有のキャッシュディレクトリのみを制御することもできます。

```
$ export HF_DATASETS_CACHE="/path/to/datasets_cache"
```

⚠️ これは`datasets`ライブラリによって書き込まれたファイル（Arrowファイルやインデックスなど）にのみ適用されます。Hugging Face Hubからダウンロードされたファイル（モデル、トークナイザー、生のデータセットソースなど）には**影響しません**。これらのファイルはデフォルトで`~/.cache/huggingface/hub`に配置され、`HF_HUB_CACHE`変数によって個別に制御されます。

```
$ export HF_HUB_CACHE="/path/to/hub_cache"
```

💡 Hugging Face のキャッシュ全体（データセットやハブからのダウンロードを含む）を別の場所に移す場合は、代わりに`HF_HOME`変数を使用してください：

```
$ export HF_HOME="/path/to/cache_root"
```

その結果、以下が得られます:
- datasets キャッシュ → `/path/to/cache_root/datasets`
- hub キャッシュ → `/path/to/cache_root/hub`

これらの区別は、共有環境やネットワークファイルシステム（NFS など）で作業する際に特に役立ちます。`HF_HUB_CACHE` が `HF_DATASETS_CACHE` と同時に設定されていなかった場合、ユーザーが予期しないキャッシュの場所に遭遇したという議論については、[issue #7480](https://github.com/huggingface/datasets/issues/7480)を参照してください。

データセットを読み込む際、データのキャッシュ先を変更するオプションも利用できます。`cache_dir`パラメータを、希望するパスに変更してください:

```py
>>> from datasets import load_dataset
>>> dataset = load_dataset('username/dataset', cache_dir="/path/to/another/directory/datasets")
```

## ダウンロードモード

`download_mode` パラメータを使用して、[load_dataset()](/docs/datasets/v5.2.0/ja/package_reference/loading_methods#datasets.load_dataset) におけるダウンロード済みソースファイルと準備済みデータセットの再利用を制御できます。デフォルトでは、🤗 Datasets はそれらが存在する場合に再利用します。ソースファイルを再度ダウンロードしてデータセットを再構築するには、`force_redownload` を使用します:

```py
>>> from datasets import load_dataset
>>> dataset = load_dataset('rajpurkar/squad', download_mode='force_redownload')
```

ダウンロードモードの完全なリストについては、[DownloadMode](/docs/datasets/v5.2.0/ja/package_reference/builder_classes#datasets.DownloadMode)を参照してください。

## キャッシュファイル

[Dataset.cleanup_cache_files()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.cleanup_cache_files) を使用して、ディレクトリ内の Arrow キャッシュファイルをクリーンアップします:

```py
# Returns the number of removed cache files
>>> dataset.cleanup_cache_files()
2
```

## の無効化または有効化

ローカルでキャッシュされたファイルを使用している場合、以前にデータセットに適用した変換を反映して、データセットが自動的に再読み込みされます。この動作を無効にするには、[Dataset.map()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.map)の引数に`load_from_cache_file=False`を設定してください。

```py
>>> updated_dataset = small_dataset.map(add_prefix, load_from_cache_file=False)
```

上記の例では、🤗 Datasets は、データセットを以前の状態から読み込む代わりに、関数 `add_prefix` をデータセット全体に対して再度実行します。

[disable_caching()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.disable_caching) を使用して、グローバルスケーリングでキャッシュを無効化します:

```py
>>> from datasets import disable_caching
>>> disable_caching()
```

cacheを無効にすると、🤗 Datasetsはデータセットにトランスフォームを適用する際に、キャッシュされたファイルを再読み込みしなくなります。データセットに適用したトランスフォームは、すべて再適用する必要があります。

> [!TIP]
> データセットを最初から再利用したい場合は、代わりに[load_dataset()](/docs/datasets/v5.2.0/ja/package_reference/loading_methods#datasets.load_dataset)の`download_mode`パラメータを設定してみてください。

## パフォーマンスの改善

…を無効化し、データセットをメモリ内にコピーすることで、データセットの操作を高速化できます。データセットをメモリ内にコピーするには、2つのオプションがあります。

1. `datasets.config.IN_MEMORY_MAX_SIZE` を、RAM メモリに収まる非ゼロの値（バイト単位）に設定してください。

2. 環境変数`HF_DATASETS_IN_MEMORY_MAX_SIZE`をゼロ以外の値に設定します。なお、最初のメソッドの方が優先順位が高いことに注意してください。

