Time-Series-Analysis-Tutorial揭秘：Pandas时间序列处理与datetime模块基础操作指南

Time-Series-Analysis-Tutorial揭秘：Pandas时间序列处理与datetime模块基础操作指南

【免费下载链接】Time-Series-Analysis-Tutorial time series analysis tutorial 项目地址: https://gitcode.com/gh_mirrors/ti/Time-Series-Analysis-Tutorial

Time-Series-Analysis-Tutorial是一个专注于时间序列分析的入门教程项目，其中Pandas时间序列处理与datetime模块是核心内容。本指南将带您快速掌握Pandas时间序列处理与datetime模块的基础操作，让您轻松应对时间序列数据处理任务。

一、Pandas与datetime模块概述

时间序列数据在众多领域都有着广泛的应用，而Pandas和datetime模块是处理时间序列数据的强大工具。Pandas提供了丰富的数据结构和函数，能够快速便捷地处理结构化数据；datetime模块则用于处理日期和时间相关的操作。


1.1 核心功能

Pandas主要包含pandas.DataFrame、pandas.Series、pandas.Period和pandas.PeriodIndex等数据结构，用于存储和处理时间序列数据。datetime模块则有datetime.datetime、datetime.timedelta、datetime.date和datetime.time等类，分别用于处理日期时间、时间间隔、日期和时间。

1.2 应用场景

时间序列数据根据适用场景可分为时间戳、固定日期、时间间隔和实验或过程时间等。无论是金融数据、气象数据还是传感器数据，都可以通过Pandas和datetime模块进行有效的处理和分析。

二、datetime模块基础操作

2.1 datetime.datetime类

datetime.datetime类用于存储日期和时间，通过now()方法可以获取当前时间。我们可以访问其year、month、day、hour、minute和second等属性来获取具体的日期和时间信息。

from datetime import datetime
now = datetime.now()
print(now.year, now.month, now.day)
print(now.hour, now.minute, now.second)

2.2 datetime.timedelta类

datetime.timedelta类表示两个datetime对象之间的时间差。我们可以对datetime对象进行加减运算，得到新的datetime对象。

from datetime import timedelta
start = datetime(2020, 1, 20)
diff = now - start
print(diff.days)
print(diff.seconds)
print(now + timedelta(12))  # 默认加天数

2.3 字符串和datetime的相互转换

我们可以使用strptime()方法将字符串转换为datetime对象，使用strftime()方法将datetime对象转换为字符串。

sixone = '2021-6-01 20:00:00'
dt = datetime.strptime(sixone, '%Y-%m-%d %H:%M:%S')
print(dt.strftime('%Y-%m-%d'))
print(dt.strftime('%H:%M:%S'))

2.4 NaT（Not a Time）

在Pandas中，NaT表示时间戳数据的NA值，类似于NaN在数值数据中的作用。当处理时间序列数据时，如果存在缺失的时间戳，就会出现NaT。

三、Pandas时间序列处理

3.1 创建时间序列

我们可以通过传递datetime对象列表作为索引来创建Pandas时间序列。Pandas会自动将其推断为时间序列，并以纳秒形式存储。

import pandas as pd
import numpy as np

dates = [datetime(2021, 6, 1), datetime(2021, 6, 2), datetime(2021, 6, 3)]
mock_value = np.random.randn(len(dates))
ts = pd.Series(mock_value, index=dates)
print(ts)

3.2 索引、选取和子集构造

TimeSeries是Series的一个子类，在索引和数据选取方面具有类似的行为。我们可以通过传递时间戳或可解释为日期的字符串来获取对应的数据，也可以进行日期切片和范围查询。

# 索引
stamp = ts.index[2]
print(ts[stamp])
print(ts['6/1/2021'])

# 切片
print(ts[datetime(2021, 6, 3):])

# 范围查询
print(ts['6/1/2021':'6/3/2021'])

3.3 日期范围生成

使用pd.date_range()函数可以生成固定频率的日期范围。通过设置start、end、periods和freq等参数，可以灵活地生成所需的日期序列。

# 默认按照天计算
index = pd.date_range('6/1/2021', '8/1/2021')
print(index)

# 使用freq参数
index = pd.date_range('1/1/2021', '1/1/2022', freq='BM')  # BM表示每月最后一个工作日
print(index)

3.4 频率和日期偏移量

Pandas支持多种频率和日期偏移量，如D（每日历日）、B（每工作日）、H（每小时）、T/min（每分）等。我们可以通过传递频率字符串来指定日期范围的频率。

# 示例：每4小时30分钟
index = pd.date_range('6/1/2021', periods=10, freq='4h30min')
print(index)

3.5 移动数据

移动（shifting）是指沿着时间轴将数据前移和后移。Series和DataFrame都有shift()方法用于执行单纯的前移或后移操作，保持索引不变。

periods = 10
ts = pd.Series(np.random.randn(periods), index=pd.date_range('6/1/2021', periods=periods, freq='M'))
print(ts.shift(1))  # 前移1位
print(ts.shift(1, freq='M'))  # 按月份前移1位

四、重采样

重采样（resampling）是指将时间序列从一个频率转换到另一个频率的处理过程，包括升采样（低频到高频）和降采样（高频到低频）。

4.1 降采样

降采样是将高频数据转换为低频数据，通常需要进行聚合操作。例如，将分钟级数据转换为5分钟级数据，并计算每个5分钟区间的总和。

rng = pd.date_range('6/1/2021', periods=12, freq='T')
ts = pd.Series(data=np.arange(len(rng)), index=rng)
print(ts.resample('5min').sum())

4.2 OHLC重采样

OHLC重采样是金融领域常用的采样方式，即获取开盘值、最大值、最小值和收盘值。

print(ts.resample('5min').ohlc())

4.3 升采样和插值

升采样是将低频数据转换为高频数据，通常会产生缺失值，需要进行插值处理。Pandas提供了ffill()、backfill()等方法进行插值。

dates = pd.date_range('6/18/2021', periods=2, freq='W-WED')
long_df = pd.DataFrame(np.random.randn(2, 4), index=dates, columns=['Colorado', 'Texas', 'New York', 'Califonia'])
print(long_df.resample('D').ffill())  # 前向填充
print(long_df.resample('D').backfill())  # 后向填充

五、总结

通过本指南的学习，您已经掌握了Pandas时间序列处理与datetime模块的基础操作，包括datetime模块的日期时间处理、Pandas时间序列的创建、索引选取、日期范围生成、频率偏移、数据移动和重采样等内容。这些知识将为您处理时间序列数据提供有力的支持。

如果您想深入学习更多关于时间序列分析的内容，可以参考项目中的03 Time Series Analysis/PandasTimeSeries Process and datetime Module Part I.md文件，里面有更详细的讲解和示例代码。

希望本指南能够帮助您快速入门时间序列分析，为您的项目开发和数据分析工作带来便利！🚀

【免费下载链接】Time-Series-Analysis-Tutorial time series analysis tutorial 项目地址: https://gitcode.com/gh_mirrors/ti/Time-Series-Analysis-Tutorial