Polars

Polars adalah pustaka DataFrame in-memory di atas mesin kueri OLAP. Pustaka ini cepat, mudah digunakan, dan open source.

Sejak versi 1.2.0, Polars menyediakan dukungan native untuk sistem file Hugging Face. Artinya, semua keuntungan dari query optimizer Polars (misalnya predicate dan projection pushdown) diterapkan, dan Polars hanya akan memuat data yang diperlukan untuk menyelesaikan query. Hal ini secara signifikan mempercepat proses pembacaan, terutama untuk dataset besar (lihat optimizations)

Anda dapat menggunakan jalur Hugging Face (hf://) untuk mengakses data di Hub:

Memulai

Untuk memulai, Anda cukup pip install Polars ke lingkungan Anda:

pip install polars

Setelah Anda menginstal Polars, Anda dapat langsung melakukan kueri pada dataset berdasarkan URL Hugging Face. Tidak ada dependensi lain yang diperlukan untuk ini.

import polars as pl

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")

Polars menyediakan dua API: API lazy (scan_parquet) dan API eager (read_parquet). Kami merekomendasikan penggunaan API eager untuk workload interaktif dan API lazy untuk performa, karena memungkinkan optimasi query yang lebih baik. Untuk informasi lebih lanjut tentang topik ini, lihat panduan pengguna Polars.

Polars mendukung globbing untuk mengunduh beberapa file sekaligus ke dalam satu DataFrame.

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-*.parquet")

URL Hugging Face

URL Hugging Face dapat dibuat dari username dan nama dataset seperti ini:

• hf://datasets/{username}/{dataset}/{path_to_file}

Path dapat mencakup pola globbing seperti **/*.parquet untuk menanyakan semua file yang cocok dengan pola tersebut. Selain itu, untuk format file yang tidak didukung, Anda dapat menggunakan file parquet yang dikonversi secara otomatis yang disediakan oleh Hugging Face menggunakan @~parquet branch:

• hf://datasets/{my-username}/{my-dataset}@~parquet/{path_to_file}