Dosya adları ve bölümler

Veri setinizi barındırmak ve paylaşmak için Hugging Face Hub üzerinde bir veri seti deposu oluşturun ve veri dosyalarınızı yükleyin.

Bu kılavuz, veri seti deponuza yüklediğinizde dosya ve dizinlerinizi nasıl adlandırmanız gerektiğini ve Dataset Viewer gibi Datasets Hub özelliklerinin tümünü etkinleştirmenizi gösterir. Daha fazla ayrıntı için örnek veri setleri eşlikçi koleksiyonuna göz atın.

Desteklenen bir yapıya ve dosya biçimlerine sahip bir veri seti, Hub'daki sayfasında otomatik olarak bir veri seti görüntüleyicisine sahip olur.

Aşağıdaki yapıların hiçbiri durumunuza uygun değilse, Manuel Yapılandırma ile bölümleri ve alt kümeleri nasıl tanımlayacağınız üzerinde daha fazla kontrol sahibi olabilirsiniz.

Temel kullanım senaryosu

Veri setiniz eğitim/doğrulama/test bölümlerine ayrılmadıysa, en basit veri seti yapısı tek bir dosya kullanmaktır: data.csv (bu, herhangi bir desteklenen dosya biçimi ve herhangi bir dosya adı ile çalışır).

Deponuz ayrıca, veri seti sayfanızda görüntülenen veri seti kartı olan bir README.md dosyası da içerecektir.

my_dataset_repository/
├── README.md
└── data.csv

Bölümler

Veri seti deposundaki bazı kalıplar, belirli dosyaları eğitim/doğrulama/test bölümlerine atamak için kullanılabilir.

Dosya adı

Veri dosyalarınızı train, test ve validation bölümlerine göre adlandırabilirsiniz:

my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv

Geleneksel olmayan bölümleriniz yoksa, bölüm adını veri dosyasının herhangi bir yerine yerleştirebilirsiniz. Tek kural, bölüm adının test-file.csv gibi, testfile.csv yerine, alt çizgi, tire, boşluk, nokta ve rakamlar gibi kelime dışı karakterlerle sınırlandırılmış olmasıdır.

Örneğin, aşağıdaki dosya adlarının tümü kabul edilebilir:

• eğitim bölümü: train.csv, my_train_file.csv, train1.csv
• doğrulama bölmesi: validation.csv, my_validation_file.csv, validation1.csv
• test bölünmesi: test.csv, my_test_file.csv, test1.csv

Dizin adı

Veri dosyalarınızı, her bir dizinde ilgili bölüme ait veri dosyalarını içeren train, test ve validation adlı farklı dizinlere yerleştirebilirsiniz:

my_dataset_repository/
├── README.md
└── data/
    ├── train/
    │   └── data.csv
    ├── test/
    │   └── more_data.csv
    └── validation/
        └── even_more_data.csv

Anahtar kelimeler

Eğitim/doğrulama/test bölümlerine atıfta bulunmanın birkaç yolu vardır. Doğrulama bölümleri bazen “dev” olarak adlandırılır ve test bölümleri “eval” olarak anılabilir. Bu diğer bölüm adları da desteklenir ve aşağıdaki anahtar kelimeler eşdeğerdir:

• eğitim, eğitim
• validation, valid, val, dev
• test, testing, eval, evaluation

Dolayısıyla, aşağıdaki yapı geçerli bir depodur:

my_dataset_repository/
├── README.md
└── data/
    ├── training.csv
    ├── eval.csv
    └── valid.csv

Bölüm başına birden çok dosya

Bölümler birden fazla dosyaya yayılabilir, örneğin:

my_dataset_repository/
├── README.md
├── train_0.csv
├── train_1.csv
├── train_2.csv
├── train_3.csv
├── test_0.csv
└── test_1.csv

train kümenizdeki tüm dosyaların adlarında train ifadesinin bulunduğundan emin olun (test ve doğrulama için de aynı şekilde). Dosya adında train ifadesinin önüne veya sonuna bir önek/son ek bile ekleyebilirsiniz (örneğin my_train_file_00001.csv).

Kolaylık olması için veri dosyalarınızı farklı dizinlere de yerleştirebilirsiniz. Bu durumda, bölme adı dizin adından çıkarılır.

my_dataset_repository/
├── README.md
└── data/
    ├── train/
    │   ├── shard_0.csv
    │   ├── shard_1.csv
    │   ├── shard_2.csv
    │   └── shard_3.csv
    └── test/
        ├── shard_0.csv
        └── shard_1.csv

Özel bölme adı

Veri seti bölümleriniz train, test veya validation dışında özel isimlere sahipse, veri dosyalarınızı data/<split_name>-xxxxx-of-xxxxx.csv gibi adlandırabilirsiniz.

Üç bölümlü bir örnek: train, test ve random:

my_dataset_repository/
├── README.md
└── data/
    ├── train-00000-of-00003.csv
    ├── train-00001-of-00003.csv
    ├── train-00002-of-00003.csv
    ├── test-00000-of-00001.csv
    ├── random-00000-of-00003.csv
    ├── random-00001-of-00003.csv
    └── random-00002-of-00003.csv