HF Buckets: загружайте только изменения с помощью Xet

Если вы работаете с большими наборами данных, вы, вероятно, повторно загружаете одни и те же байты каждый раз, когда данные изменяются. В этом видео я загружаю CSV-файл с данными о нью-йоркских такси размером 191 МБ в хранилище Hugging Face Bucket, добавляю 100 строк и загружаю его снова: Xet, слой хранения Hugging Face, отправляет только новые фрагменты. Затем я преобразую данные в формат Parquet, добавляю 100 строк и снова синхронизирую: с параметром use_content_defined_chunking=True в PyArrow, по сети передается только 8,6 МБ из 52,9 МБ файла. Это видео предназначено для инженеров данных и машинного обучения, которые загружают наборы данных в Hub и поддерживают их в актуальном состоянии. Рассматриваемые темы: Как Xet загружает только измененные фрагменты Использование контейнеров Hugging Face с CLI hf (создание, копирование, синхронизация) Блоки Parquet, определяемые содержимым, с помощью PyArrow 21+ Экономия при загрузке: ~90 МБ против ~6 МБ для файла размером 100 МБ Подводные камни в производственной среде: инструменты S3, версионирование, сортировка, настройки записи Ресурсы: Полное пошаговое руководство (команды, код, набор данных): https://huggingface.co/blog/prpatel/hands-on-with-buckets Форум Hugging Face: https://discuss.huggingface.co/ Главы: 0:00 Прекратите тратить пропускную способность впустую 0:15 Что вы увидите 0:39 Демонстрация: загрузка CSV и Parquet в контейнер 9:11 Xet в три шага 10:10 Решение в одну строку 10:47 Сколько экономит Xet 11:13 Перед отправкой 12:27 Присоединяйтесь к обсуждению