Erişim Desenleri

CLI ve Python SDK dışında, var olan araçlarınız ve iş akışlarınızdan bucket verilerine erişmenin birkaç yolu vardır.

Erişim Yöntemi Seçimi

Buckets'ı bir arka uç olarak kullanan araçlar (SkyPilot, Inspect, …) için bkz. Entegrasyonlar. Bir istemcinin, bucket'ı sorgulamadan (polling) onunla senkronize kalması için bkz. Değişiklikleri Takip Etme.

Yerel Bir Dosya Sistemi Olarak Bağlayın

hf-mount, depoları (ve repoları) NFS (önerilen) veya FUSE üzerinden yerel dosya sistemleri olarak bağlamanızı sağlar. Dosyalar tembelce (lazy) getirilir — ağa yalnızca kodunuzun okuduğu baytlar ulaşır.

Homebrew ile yükleyin:

brew install hf-mount

Bir varlık kovasını bağlayın:

hf-mount start bucket username/my-bucket /mnt/data

Bağlandıktan sonra, dosya okuyan veya yazan herhangi bir araç — pandas, DuckDB, vLLM, eğitim betikleri, kabuk komutları vb. — bucket'ınızla çalışır.

Buckets okuma-yazma olarak bağlanır; depolar salt okunurdur. Arka uç seçenekleri, önbellekleme ve yazma modları dahil tam dokümantasyon için hf-mount deposuna bakın.

İşlerde ve Uzaylarda Hacim Bağlamaları

Jobs ve Spaces içindeki hacim bağlamaları, hf-mount ile aynı fikirdir ve platform tarafından sizin için yönetilir — ek bir kurulum gerekmez. Varlıklar (Buckets) varsayılan olarak okuma-yazma olarak bağlanır.

hf jobs run -v hf://buckets/username/my-bucket:/data python:3.12 python script.py

Jobs, hacim kaynağı olarak yerel bir dizin de alabilir (-v ./training-data:/data): dizin, özel jobs-artifacts kovanazı ile senkronize edilir ve oradan bağlanır; böylece artımlı yeniden senkronizasyon ve çıktıların geri çekilmesi ücretsiz olarak sağlanır.

Tam hacim bağlama sözdizimi ve Python API'si için Jobs yapılandırma belgeleri ve Spaces hacim bağlama kılavuzu'na bakın.

DuckDB ile Sorgu

DuckDB 2.0 ve sonraki sürümler, hf://buckets/ yollarını httpfs (okuma) veya hf (okuma/yazma) eklentileri aracılığıyla yerel olarak kullanır. DuckDB CLI veya herhangi bir istemciden httpfs eklentisini yükleyip etkinleştirin, ardından bir kovaya sorgu gönderin:

INSTALL httpfs;
LOAD httpfs;

SELECT * FROM 'hf://buckets/username/my-bucket/data.parquet' LIMIT 10;

Glob desenleri, veri kümeleri için olduğu gibi çalışır, örneğin 'hf://buckets/username/my-bucket/data/**/*.parquet'. Bucket'lar sürüm yönetimi yapılmadığından @revision sözdizimi bucket yollarına uygulanmaz. httpfs yalnızca okur; sorgu sonuçlarını bir bucket'a yazmak için hf eklentisini yükleyin (aşağıya bakın).

Özel depolar: Önce bir Hugging Face gizli anahtarı oluşturun. Jetonu hf auth login komutundan veya HF_TOKEN ortam değişkeninden alır:

CREATE SECRET hf (TYPE huggingface, PROVIDER credential_chain);

Hugging Face'e yazmak için hf eklentisi gereklidir:

SET allow_extension_repositories = 'allowed';
CREATE OR REPLACE EXTENSION REPOSITORY hf_repo WITH PREFIX 'https://hf.co/buckets/duckdb-extensions/builds/resolve';
INSTALL hf FROM hf_repo;
LOAD hf FROM hf_repo;

COPY tbl TO 'hf://buckets/username/my-bucket/out.parquet';

DuckDB 1.x'te httpfs, hf://buckets/ yollarını tanımaz. Bunun yerine Python'dan HfFileSystem sınıfını kaydedin veya CLI ve diğer istemcilerden S3-uyumlu API'yi kullanın.

Python Veri Araçları

HfFileSystem, hf://buckets/ yollarını kullanarak fsspec-uyumlu bucket erişimi sağlar. fsspec destekleyen herhangi bir Python kütüphanesi, bucket verilerini doğrudan okuyabilir ve yazabilir.

pandas:

import pandas as pd

df = pd.read_parquet("hf://buckets/username/my-bucket/data.parquet")
df.to_parquet("hf://buckets/username/my-bucket/output.parquet")

hf:// yolları ve desteklenen işlemler hakkında daha fazla bilgi için HfFileSystem kılavuzuna ve Buckets Python kılavuzuna bakın.