Ускорение обработки данных JSON с помощью NVIDIA cuDF

JSON (JavaScript Object Notation) — это широко используемый формат для обмена данными, особенно в веб-приложениях и больших языковых моделях (LLM). Несмотря на то, что JSON удобочитаем для человека, обработка данных JSON с помощью инструментов науки о данных может быть сложной. Данные JSON часто представлены в виде строк JSON, разделенных переносами строк (NDJSON), что требует эффективных методов для преобразования их в фреймы данных для анализа. В этой статье рассматривается, как NVIDIA cuDF значительно ускоряет этот процесс по сравнению с другими библиотеками.

Важно различать парсинг (разбор) JSON и чтение JSON. Парсинг JSON, выполняемый такими инструментами, как simdjson, преобразует символьные данные в токены, представляющие компоненты JSON (имена полей, значения и т. д.). Чтение JSON, с другой стороны, преобразует эти токенизированные данные в структурированные фреймы данных, обрабатывая границы записей, вложенные структуры, отсутствующие поля и вывод типов данных. cuDF превосходно справляется с обеими задачами, обеспечивая высокую пропускную способность парсинга и эффективное преобразование в фреймы данных.

Производительность средств чтения строк JSON зависит от таких факторов, как количество записей, столбцов, глубина вложенности, типы данных, длина строк и отсутствующие ключи. В этом исследовании сравниваются pandas, DuckDB, pyarrow и RAPIDS cuDF с использованием различных структур JSON, включая списки и структуры с целочисленными и строковыми типами данных. Тестирование проводилось на GPU NVIDIA H100 с процессором Intel Xeon Platinum и достаточным объемом ОЗУ.

cuDF демонстрирует превосходную производительность при чтении JSON. Тесты показывают, что cuDF достигает ускорения до 133 раз по сравнению с pandas с использованием стандартного движка и 60-кратного ускорения по сравнению с pandas с использованием движка pyarrow. DuckDB и pyarrow также показывают хорошую производительность, но cuDF стабильно превосходит их, особенно при работе со сложными схемами. pylibcudf, использующий асинхронные ресурсы памяти CUDA, достигает самых быстрых результатов. Производительность оценивалась на основе обработки 28 входных файлов общим объемом 8,2 ГБ.

Данные JSON часто содержат исключения, такие как поля в одинарных кавычках, некорректные записи и смешанные типы данных. cuDF предоставляет надежные параметры для обработки этих исключений, включая нормализацию одинарных кавычек, восстановление после некорректных строк путем замены их значениями null и приведение типов данных к строкам. Эти функции повышают способность cuDF эффективно обрабатывать реальные данные JSON. cuDF предлагает параметры, совместимые с `allowSingleQuotes` в Apache Spark.

cuDF предлагает расширенные параметры для чтения JSON для совместимости с Apache Spark, включая правила проверки для чисел и строк, пользовательские разделители записей, обрезку столбцов на основе типов данных и пользовательские значения NaN. Эти параметры, доступные через API cuDF-Python и pylibcudf, обеспечивают точный контроль над процессом чтения JSON. Дополнительные сведения о `json_reader_options` см. в документации по C++ API libcudf.

Возможности cuDF по ускоренной обработке данных JSON с помощью GPU также доступны в RAPIDS Accelerator для Apache Spark. Эта интеграция позволяет пользователям использовать мощь GPU для ускорения обработки JSON в своих рабочих процессах Spark, что еще больше повышает производительность и эффективность. Эта интеграция доступна начиная с версии 24.12.

RAPIDS cuDF предоставляет мощное, гибкое и ускоренное решение для обработки данных JSON в Python. Его превосходная производительность, надежная обработка ошибок и бесшовная интеграция с Apache Spark делают его идеальным выбором для специалистов по данным и инженеров, работающих с большими наборами данных JSON. Используя cuDF, пользователи могут значительно сократить время обработки и повысить эффективность своих конвейеров данных.