JSON в CSV

JSON создан для представления произвольно вложенных данных древовидной структуры — объектов внутри объектов, массивов внутри объектов, значений по-настоящему разных типов бок о бок, — тогда как CSV способен представить только одну плоскую однородную таблицу: строки и столбцы, где у каждой строки одинаковый набор столбцов, а каждая ячейка — это одно простое значение. Преобразование из первой формы во вторую неизбежно требует решений о том, как развернуть нечто, изначально не укладывающееся в строки и столбцы, — и именно здесь кроется основная сложность такого преобразования, а не в разборе самого синтаксиса JSON, который прост, а в том, чтобы определить, что вообще должна означать строка таблицы для данных, которые никогда не были табличными.

У вложенного объекта вроде `{"user": {"name": "Ada", "id": 42}}` нет единственного очевидного столбца, в который он мог бы превратиться в плоской таблице, поэтому он разворачивается в два отдельных столбца — `user.name` и `user.id`, — а точечная нотация точно сохраняет, откуда каждое значение взялось в исходной структуре. Это широко признанное соглашение именно потому, что оно обратимо: столбец с именем `user.name` однозначно описывает путь обратно во вложенную структуру, что важно, если CSV когда-нибудь понадобится конвертировать обратно в JSON или импортировать в систему, понимающую пути с точками как вложенные поля.

Вложенные массивы обрабатываются иначе, и сделано это намеренно: вместо того чтобы разворачивать массив в дополнительные строки — что изменило бы количество строк таблицы в зависимости от того, сколько вложенных элементов оказалось в одной записи, а это по-настоящему неожиданный и часто нежелательный побочный эффект, — значение массива сериализуется как текст JSON внутри одной ячейки. Количество строк остаётся предсказуемым и точно соответствует количеству входных записей, что почти всегда и нужно тому, кто конвертирует данные в таблицу, ценой того, что эту одну ячейку придётся дополнительно разбирать, если понадобится её содержимое по отдельности.

Реальные ответы API и JSON, собранный вручную, часто содержат записи, где не у всех объектов одинаковые ключи — необязательное поле присутствует в одних записях и отсутствует в других, либо схема со временем менялась, поэтому старые и новые записи немного различаются. CSV не может представить такие различия напрямую, поскольку каждая строка должна укладываться в один и тот же фиксированный набор столбцов; программа, читающая CSV-файл, не сможет понять, что в строке «не хватает» столбца, если только у каждой строки явно нет ячейки для него. Решение состоит в вычислении объединения всех ключей, встреченных во всех записях, в порядке их первого появления, и заполнении пустой ячейкой любой записи, в которой отсутствует то или иное поле, — так структура остаётся согласованной по всему файлу, не теряя незаметно столбцы какой-либо записи и не сдвигая значения в неверный столбец.