Загрузка CSV с явными типами и датами через read_csv

В прошлом уроке DataFrame создавался вручную — из словаря или списка словарей. В реальной работе данные почти всегда приходят из файла, и самый распространённый формат — CSV. Здесь разберём, как pd.read_csv превращает текстовый файл в DataFrame за один вызов.

pd.read_csv: чтение CSV по пути и файловому объекту

Базовый вызов выглядит так:

import pandas as pd

df = pd.read_csv('data/orders.csv')

Первый аргумент filepath_or_buffer — это либо строка с путём к файлу, либо файловый объект. Pandas принимает оба варианта одинаково.

Путь может быть относительным или абсолютным:

# относительный путь
df = pd.read_csv('data/orders.csv')

# абсолютный путь
df = pd.read_csv('/home/user/projects/data/orders.csv')

Вместо пути можно передать любой файловый объект — например, открытый через open() или созданный через io.StringIO (полезно в тестах и при работе с данными из памяти):

import io

csv_text = """id,date,amount,category
1,2024-01-15,99.5,food
2,2024-02-20,150.0,tech
"""

buf = io.StringIO(csv_text)
df = pd.read_csv(buf)
print(df)

В обоих случаях pandas делает одно и то же: читает первую строку файла как заголовок столбцов, а дальше — строки данных.

Типы pandas выводит автоматически, просматривая значения каждого столбца. Числа без дробной части становятся int64, числа с точкой — float64, всё остальное — object (строки). Посмотреть, что получилось:

print(df.dtypes)
# id          int64
# date        object
# amount      float64
# category    object

Здесь date — это строка (object), потому что pandas по умолчанию не пытается распознавать даты. Автовывод типов работает хорошо для числовых столбцов, но для дат и столбцов с особыми требованиями к типу нужны явные параметры — они будут следующим шагом.

Выбор нужных столбцов через usecols

Когда CSV-файл содержит десятки столбцов, а нужны только три — нет смысла загружать всё. Параметр usecols позволяет указать именно те столбцы, которые должны попасть в DataFrame.

Передавать можно список имён:

import pandas as pd

df = pd.read_csv('data/orders.csv', usecols=['id', 'date', 'amount'])
print(df.columns.tolist())
# ['id', 'date', 'amount']

Если имена столбцов в файле заранее неизвестны или нужно обратиться к ним по позиции, usecols принимает и список целых чисел:

# Взять первый, второй и третий столбцы (0-based)
df = pd.read_csv('data/orders.csv', usecols=[0, 1, 2])

Оба варианта дают одинаковый результат, если позиции соответствуют тем же столбцам.

Один момент, который сбивает с толку: порядок столбцов в результирующем DataFrame определяется не списком usecols, а порядком в самом файле. То есть если написать usecols=['amount', 'id', 'date'], в DataFrame они всё равно окажутся в том порядке, в котором идут в CSV — id, date, amount.

Практический смысл usecols не только в удобстве, но и в экономии памяти: pandas не читает и не хранит данные из пропущенных столбцов вообще. Для больших файлов с широкими таблицами это ощутимо.

Явные типы и разбор дат: параметры dtype и parse_dates

Автоматический вывод типов, который pandas делает при чтении CSV, работает предсказуемо для чисел, но часто ошибается в деталях: столбец с целыми числами получает int64, хотя для экономии памяти лучше подошёл бы int32; столбец с ценами может стать object, если в нём встречается запятая вместо точки. Чтобы не исправлять это постфактум через astype, нужные типы задаются прямо при чтении через параметр dtype.

Параметр dtype

dtype принимает словарь, где ключ — имя столбца, значение — нужный тип:

import pandas as pd

df = pd.read_csv(
    'data/orders.csv',
    dtype={
        'id': 'int32',
        'amount': 'float64',
        'category': 'str'
    }
)

В качестве типов работают строки NumPy/pandas ('int32', 'float64', 'Int64' с заглавной I для nullable-целых) и Python-типы (str, float). Pandas применяет преобразование во время чтения, поэтому никаких отдельных вызовов astype после загрузки не нужно.

Если в файле окажется значение, которое нельзя привести к указанному типу, pandas бросит ValueError — и это хорошо: ошибка сразу сигнализирует о грязных данных, а не прячется в неожиданном NaN где-то внутри DataFrame.

Один нюанс: столбцы, которые не указаны в словаре dtype, получают тип автоматически, как обычно. Словарь не обязан покрывать все столбцы.

Параметр parse_dates

Даты — отдельная история. Даже если в файле написано 2024-01-15, pandas по умолчанию читает это как строку (object). Чтобы столбец стал datetime64[ns] прямо при загрузке, используется parse_dates:

df = pd.read_csv(
    'data/orders.csv',
    parse_dates=['date']
)

parse_dates принимает список имён столбцов (или позиций). Pandas пытается распознать формат автоматически — ISO-8601 (YYYY-MM-DD) он обрабатывает без проблем. Для нестандартных форматов вроде 15/01/2024 автораспознавание может не сработать, и тогда потребуется дополнительный шаг уже после загрузки. Но для большинства реальных датасетов, где дата записана в стандартном виде, parse_dates закрывает задачу полностью.

Оба параметра прекрасно работают вместе:

df = pd.read_csv(
    'data/orders.csv',
    dtype={'id': 'int32', 'amount': 'float64'},
    parse_dates=['date']
)

Такой вызов даёт id типа int32, amount типа float64, date типа datetime64[ns] — всё в один шаг, без постобработки. Как убедиться, что типы действительно применились корректно, разберём в следующей секции.

Проверка типов через df.dtypes и сквозной пример

После того как read_csv отработал с нужными параметрами, остаётся один вопрос: применились ли они так, как ожидалось? Ответ даёт df.dtypes.

df.dtypes возвращает Series, где индекс — имена столбцов, а значения — их типы. Смотреть его нужно сразу после загрузки, до любой дальнейшей обработки — именно тогда он подтверждает, что параметры dtype и parse_dates сработали корректно.

Разберём на конкретном примере. Возьмём CSV с четырьмя столбцами: id, date, amount, category. Нужны только первые три, id должен быть int32, amount — float64, а date — datetime64:

import pandas as pd
import io

csv_text = '''id,date,amount,category
1,2024-01-15,99.5,food
2,2024-02-20,150.0,tech
3,2024-03-10,45.25,food
'''

buf = io.StringIO(csv_text)
df = pd.read_csv(
    buf,
    usecols=['id', 'date', 'amount'],
    dtype={'id': 'int32', 'amount': 'float64'},
    parse_dates=['date']
)

print(df.dtypes)

Вывод:

id               int32
date    datetime64[ns]
amount         float64
dtype: object

Это именно то, что задавалось при вызове. category в DataFrame вообще нет — usecols его исключил. id получил int32, а не дефолтный int64. date стал datetime64[ns], а не строкой. amount — float64.

Если какой-то тип не совпал с ожидаемым, чаще всего причина в одном из двух:

• Неизвестный ключ в dtype — pandas молча игнорирует его, столбец получает автоматический тип. Например, если написать dtype={'amout': 'float64'} (опечатка), ошибки не будет, но amount окажется float64 лишь случайно (по автовыводу), а намерение останется незамеченным. Проверяйте df.dtypes именно поэтому.
• Несуществующий столбец в parse_dates — поведение противоположное: pandas бросит ValueError.

Это значит, что имя столбца в parse_dates не совпадает ни с одним столбцом в файле (или он был исключён через usecols). Здесь ошибка видна сразу.

Во всех случаях df.dtypes помогает локализовать проблему: если тип столбца не тот, что ожидался, — ищите опечатку в ключе dtype или проверьте, не исключён ли нужный столбец через usecols.

df.dtypes — тот же атрибут, что уже использовался при ручном создании DataFrame в предыдущем уроке. Разница только в контексте: там он описывал структуру, которую задавали явно через словарь; здесь — подтверждает, что read_csv правильно интерпретировал CSV-файл. Этот же datetime64[ns]-столбец позже станет базой для работы с компонентами дат через .dt — но это уже отдельная тема.

Закрепите тему на задачах

После загрузки проверьте число строк, dtype и значение ключа с ведущими нулями. Разделитель и кодировка могут создать правдоподобную, но неверную таблицу.

Загрузка CSV с явными типами и датами через read_csv — задача по NumPy и pandas

pandas read_csv: usecols, dtype и parse_dates в задаче

pandas read_csv: конфликт usecols и parse_dates

Откройте условие и решите задачу перед чтением следующей темы. В задачах на код проверяется программа, в тестовых заданиях — выбранный ответ. Для последовательного обучения вернитесь в программу бесплатного курса.