Daft

Daft est un moteur de données haute performance offrant un traitement de données simple et fiable pour toute modalité et toute échelle. Daft prend nativement en charge la lecture et l'écriture de jeux de données Hugging Face.

Premiers pas

Pour commencer, installez daft avec la fonctionnalité huggingface :

pip install 'daft[huggingface]'

Lire

Daft est en mesure de lire des jeux de données directement depuis le Hugging Face Hub à l'aide de la fonction daft.read_huggingface() ou via le protocole hf://datasets/.

Lecture d'un jeu de données entier

À l'aide de daft.read_huggingface(), vous pouvez charger facilement un jeu de données.

import daft

df = daft.read_huggingface("username/dataset_name")

Cela lira l'ensemble de données complet dans un DataFrame.

Lecture de fichiers spécifiques

Non seulement vous pouvez lire des jeux de données entiers, mais vous pouvez également lire des fichiers individuels d'un dépôt de jeu de données. En utilisant une fonction de lecture qui prend un chemin en paramètre (comme daft.read_parquet(), daft.read_csv() ou daft.read_json()), spécifiez un chemin de jeu de données Hugging Face via le préfixe hf://datasets/ :

import daft

# read a specific Parquet file
df = daft.read_parquet("hf://datasets/username/dataset_name/file_name.parquet")

# or a csv file
df = daft.read_csv("hf://datasets/username/dataset_name/file_name.csv")

# or a set of Parquet files using a glob pattern
df = daft.read_parquet("hf://datasets/username/dataset_name/**/*.parquet")

Écrire

Daft est en mesure d'écrire des fichiers Parquet dans un dépôt de jeu de données Hugging Face à l'aide de daft.DataFrame.write_huggingface. Daft prend en charge Content-Defined Chunking et Xet pour des écritures plus rapides et dédupliquées.

Utilisation de base :

import daft

df: daft.DataFrame = ...

df.write_huggingface("username/dataset_name")

Consultez la page de l'API DataFrame.write_huggingface pour plus d'informations.

Authentification

Le paramètre token de daft.io.HuggingFaceConfig permet de spécifier un jeton d’accès Hugging Face pour les requêtes nécessitant une authentification (par exemple, la lecture de dépôts de jeux de données privés ou l’écriture dans un dépôt de jeu de données).

Exemple de chargement d'un jeu de données avec un jeton spécifié :

from daft.io import IOConfig, HuggingFaceConfig

io_config = IOConfig(hf=HuggingFaceConfig(token="your_token"))
df = daft.read_parquet("hf://datasets/username/dataset_name", io_config=io_config)