首页>Database>source

我有一个时间序列pandas数据帧,该数据帧每分钟动态增加列并添加新行:

初始:

timestamp                100     200     300
2020-11-01 12:00:00       4       3       5

下一分钟:

timestamp                100     200     300   500
2020-11-01 12:00:00       4       3       5     0
2020-11-01 12:01:00      14       3       5     4

数据框每分钟都有这些更新的值,等等。

因此,理想情况下,我想设计一个支持这种动态列结构的数据库解决方案.列数可能会增加到20-30k +,并且由于是一分钟的时间序列,因此每年将有500k +行。

我已经阅读到关系数据库对列数有限制,因此在这里可能不起作用,而且,由于我正在为新列设置数据并为先前的时间戳分配默认值(0),因此 失去MySQL上的DEFAULT参数。

最终,我将查询1天1个月的数据,以获取列及其值的数据。

请针对此类动态行和列数据提出合适的数据库解决方案。

最新回答
  • 1月前
    1 #

    通常,可以通过将模式的动态部分存储在其自己的表中来解决此类动态数据问题, 转为行。

    例如,您可以有一个Intervals表,其中一列称为Interval,另一列称为Values.对于该时间间隔的每个值实例,时间间隔将存储100、200、300等。

    您也可以将时间戳记存储在此表中的列中,或者我的建议是使用时间戳记ID(在您的Intervals表中为外键字段)将时间戳记标准化到自己的表中。

    通过这种方式实施模式,您不必担心会创建多少动态间隔,因为这是基于行的通用解决方案。

相关问题

  • Mysql:MySQL-删除后的Shink表
  • t sql:查询以基于另一个表的列更新表的一列