一种超融合系统及基于该超融合系统的数据处理方法和流程

1、本发明涉及计算机技术领域，具体涉及一种超融合系统及基于该超融合系统的数据处理方法。

背景技术：

2、超融合存储系统是一种面向对象的分布式存储系统，采用SSD+HDD的混合存储方式。 所有物理服务器上的硬盘构成存储资源池，其中所有机械硬盘构成存储容量层，SSD闪存盘构成存储性能层，两者共同构建分层持久存储。

3、现有的超融合存储系统采用将访问频率高的热数据升级到SSD存储设备，将访问频率低的冷数据下沉到HDD存储设备的方式，从而有效提高用户效率。 数据访问效率，提升超融合产品性能。

4、现有的超融合存储系统在进行冷数据和热数据轮换时，由于轮换周期较长，无法很好地利用热数据存储单元的容量。 如果数据长时间不轮换，就会降低用户的搜索效率，降低用户的搜索效率。 搜索数据也是有时段性的，即不同时段对同一数据的部分内容的搜索频率会有所不同，导致数据处理效率较低。

技术实现要素：

5、基于此，本发明的目的是提供一种超融合系统及基于该超融合系统的数据处理方法，以解决现有超融合存储系统无法很好地利用热点数据的问题由于周转周期长而导致的存储单元。 容量大，数据处理效率低。

6、为实现上述目的，本发明提供如下技术方案：一种超融合系统，包括冷数据存储单元、轮转单元、记录单元和数据输出单元。 这些记录单元分别连接至两组不同的第一记录存储单元。 单元和第二记录存储单元，旋转单元分别连接两组不同的第一热数据存储单元和第二热数据存储单元，第二热数据存储单元通过旋转单元连接至筛选单元，筛选单元连接筛选存储单元，筛选存储单元连接第一记录存储单元。

7、采用上述技术方案，设置另一组热数据存储单元，并缩短另一组热数据存储单元的轮转周期，保证系统能够更快、更高效地轮转热数据和冷数据。 根据用户不同时间段不同数据频率的不同特征进行检索，提高数据检索的速度和效率，避免相同数据占用热点数据存储单元的情况，提高热点数据存储单元的存储效率。

8、本发明还设置为，所述冷数据存储单元、第一热数据存储单元和第二热数据存储单元均与所述轮转单元双向连接。

9、采用上述技术方案，可以保证冷数据存储单元、第一热数据存储单元和第二热数据存储单元能够在轮换单元的控制下轮换内部数据。

10、本发明还进一步配置为，所述冷数据存储单元、所述第一热数据存储单元和所述第二热数据存储单元均连接至记录单元，所述记录单元连接至数据输出单元。

11、采用上述技术方案，通过记录单元记录所有数据的搜索次数。

12、本发明还设置为，所述第一录音存储单元直接连接至所述旋转单元，并且还连接至所述筛选存储单元。

13、采用上述技术方案，第一记录存储单元向旋转单元提供第一热数据存储单元和冷数据存储单元的旋转数据信息，同时为筛选存储单元提供对比数据。要比较的筛选单位。 正确的。

14、本发明还被配置为，所述第二记录存储单元连接至筛选单元，并且所述筛选单元连接至旋转单元。

15、采用上述技术方案，筛选单元对第二记录存储单元和筛选存储单元中的数据进行筛选后，将旋转数据信息发送至旋转单元。

16、本发明还设置为，所述筛选单元和所述筛选存储单元双向连接。

17、采用上述技术方案，可以保证筛选单元能够将第一记录存储单元输入的数据与第二存储记录单元输入的数据进行比较，过滤掉相同的数据，然后输出正确的旋转数据。 。

18、本发明还提出一种基于超融合系统的数据处理方法，包括以下步骤： 步骤一：分别设置第一记录存储单元和第二记录存储单元的数据输出周期，需要注意的是，第一记录存储单元的记录输出输出周期为第一周期，第二记录存储单元的记录输出周期为第二周期。 第一个周期比第二个周期长。 根据之前的数据输出记录将冷数据存储在冷数据存储单元中。 将热数据存储到第一热数据存储单元中步骤2：在第一个第一周期中，数据输出单元输出冷数据存储单元和第一热数据存储单元、第一记录存储单元和第二记录中的数据。存储单元记录数据经过记录单元的次数； 步骤3：第一个第一周期结束后，第一记录存储单元将存储的数据按照受欢迎度进行排序，然后交付给轮转单元和筛选存储单元，轮转单元将冷数据轮转存储单元中的数据和第一热点数据存储单元； 步骤4：下一个第一周期开始后，第二周期后，第二记录存储单元将存储的数据传输至筛选单元，筛选单元对单独存储单元中存储的第一热点数据存储单元中的数据进行筛选删除与第一热点数据存储单元相同的数据，并根据受欢迎程度对记录进行排序，然后传输到轮换单元。 轮换单元轮换冷数据存储单元和第二热数据存储单元中的数据。

19、综上所述，本发明主要具有以下有益效果： 1、本发明通过设置另一组热数据存储单元，缩短另一组热数据的轮转周期，使得系统能够更快、更高效。数据存储单元。 热数据和冷数据的高效轮换； 2、本发明根据用户在不同时间段搜索不同数据的特点，将特定时间段内搜索频繁的部分冷数据轮换到热数据存储单元中。 3、本发明通过筛选单元对第二记录存储单元中的数据进行筛选，避免两组热点数据存储单元中存储重复的数据，避免相同的数据占用热点数据。 对于数据存储单元而言，提高了热点数据存储单元的存储效率。

附图说明

20.图1是本发明的系统图。

详细方式

21、下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。 下面结合附图描述的实施例是示例性的，仅用于解释本发明，不能理解为对本发明的限制。

22、下面根据本发明的整体结构来描述本发明实施例。

23、实施例一：如图1所示，记录单元连接两组不同的第一记录存储单元和第二记录存储单元，旋转单元连接两组不同的第一热数据存储单元和第二热数据存储单元。数据存储单元。 数据存储单元，第二热点数据存储单元通过旋转单元与筛选单元连接，筛选单元与筛选存储单元连接，筛选存储单元与第一记录存储单元连接，以保证冷数据储存单元、第一热数据储存单元及第二热数据储存单元可受轮转单元控制而轮转内部数据。 第一记录存储单元直接连接至旋转单元，并且还连接至筛选存储单元。 第一记录存储单元为旋转单元提供第一旋转单元。 热数据存储单元和冷数据存储单元的旋转数据信息还为用于比对的筛选存储单元、冷数据存储单元、第一热数据存储单元和第二热数据存储单元提供对比数据。 它们都与旋转单元双向连接。 冷数据存储单元、第一热数据存储单元和第二热数据存储单元均连接至记录单元。 记录单元连接数据输出单元，通过记录单元记录所有数据被查找的次数。 第二记录存储单元连接至筛选单元，且筛选单元连接至旋转单元。 筛选单元对第二记录存储单元和筛选存储单元中的数据进行筛选后，将旋转数据信息发送至旋转单元。 为了保证筛选单元能够将第一记录存储单元输入的数据与第二存储记录单元输入的数据进行比较，筛选出相同的数据，然后输出正确的旋转数据。 筛选单元和筛选存储单元双向连接。

24、实施例二：分别设置第一记录存储单元和第二记录存储单元的数据输出周期，记录第一记录存储单元的记录输出输出周期为第一周期，记录第二记录存储单元的记录输出单位周期为第二个周期。 第一个周期比第二个周期长。 根据之前的数据输出记录，冷数据存储在冷数据存储单元中，热数据存储在第一热数据存储单元中。 在第一个第一周期，数据输出单元输出冷数据存储单元和第一热数据存储单元中的数据，第一记录存储单元和第二记录存储单元记录数据经过记录单元的次数，在第一个第一周期结束后，第一记录存储单元将存储的数据按照流行度进行排序，然后传递给轮换单元和筛选存储单元。 轮换单元轮换冷数据存储单元和第一热数据存储单元中的数据。 旋转单元可以基于存储在第一记录存储单元中的数据。 数据轮转冷数据存储单元、第二热数据存储单元和第一热数据存储单元中的数据。 在第一个第一周期中，筛选单元无法轮转冷数据存储单元中的数据，因为筛选存储单元中没有比较数据。 需要轮转的数据信息在单元内传输。 第一周期为12小时，第二周期为1小时。 在下一个第一周期开始后，在第二周期之后，第二记录存储单元将存储的数据传输至筛选单元。 筛选单元根据筛选存储单元中存储的第一热点数据存储单元中的数据，筛选出与第一热点数据存储单元相同的数据，并根据受欢迎程度对记录进行排序后输送至轮换单元，轮换单元轮换冷数据存储单元和第二热数据存储单元内的数据。

25、实施例三：分别设置第一记录存储单元和第二记录存储单元的数据输出周期，记录第一记录存储单元的记录输出输出周期为第一周期，记录第二记录存储单元的记录输出单位周期为第二个周期。 第一个周期比第二个周期长。 根据之前的数据输出记录将冷数据存储在冷数据存储单元中。

将热数据存储到第一热数据存储单元中，在第一个第一周期中，数据输出单元输出冷数据存储单元和第一热数据存储单元、第一记录存储单元和第二记录存储中的数据单位 记录数据通过记录单元的次数。 第一周期结束后，第一记录存储单元将存储的数据按照受欢迎程度进行排序，然后传送至轮转单元和筛选存储单元。 轮换单元轮换冷数据存储单元和第一存储单元。 热数据存储单元中的数据、轮换单元可以根据第一记录存储单元中存储的数据轮换冷数据存储单元、第二热数据存储单元和第一热数据存储单元中的数据。第一个周期，由于筛选单元在筛选存储单元中没有比对数据，因此无法将需要旋转的数据信息传输给旋转单元。 第一个周期为18h，第二个周期为1.5h。 在下一个第一周期开始后，在第二周期后，第二记录存储单元将存储的数据传输至筛选单元。 筛选单元根据筛选存储单元中的数据删除第一热点数据存储单元中存储的数据，并删除第一热点数据存储单元中存储的数据。 单元内的相同数据按照受欢迎度排名后会发送到轮换单元。 轮换单元对冷数据存储单元和第二热数据存储单元中的数据进行轮换。

26、实施例四：分别设置第一记录存储单元和第二记录存储单元的数据输出周期，记录第一记录存储单元的记录输出输出周期为第一周期，记录第二记录存储单元的记录输出单位周期为第二个周期。 第一个周期比第二个周期长。 根据之前的数据输出记录，冷数据存储在冷数据存储单元中，热数据存储在第一热数据存储单元中。 在第一个第一周期，数据输出单元输出冷数据存储单元和第一热数据存储单元中的数据，第一记录存储单元和第二记录存储单元记录数据经过记录单元的次数，在第一个第一周期结束后，第一记录存储单元将存储的数据按照流行度进行排序，然后传递给轮换单元和筛选存储单元。 轮换单元轮换冷数据存储单元和第一热数据存储单元中的数据。 旋转单元可以基于存储在第一记录存储单元中的数据。 数据轮转冷数据存储单元、第二热数据存储单元和第一热数据存储单元中的数据。 在第一个第一周期中，筛选单元无法轮转冷数据存储单元中的数据，因为筛选存储单元中没有比较数据。 需要轮转的数据信息在单元内传输。 第一周期为24小时，第二周期为2小时。 在下一个第一周期开始后，在第二周期之后，第二记录存储单元将存储的数据传输至筛选单元。 筛选单元根据筛选存储单元中存储的第一热门数据存储单元中的数据，筛选并移除与第一热点数据存储单元相同的数据，并根据受欢迎程度对记录进行排序后传输至轮换单元，轮换单元轮换冷数据存储单元和第二热数据存储单元内的数据。

27、虽然已经示出和描述了本发明的实施例，但是该具体实施例仅仅是对本发明的解释，而不是对本发明的限制。 所描述的具体特征、结构、材料或特性可以用于任何一个或以合适的方式组合多个实施例或示例。 在阅读了本说明书后，本领域​​的技术人员在不做出创造性劳动前提下，可以对本实施例进行各种改动而不脱离本发明的原理和目的。 、替换和修改等，只要属于本发明权利要求的范围之内，均受专利法保护。

技术特点：

1、一种超融合系统，包括冷数据存储单元、轮转单元、记录单元和数据输出单元，其特征在于：所述记录单元与不同组的第一记录存储单元和第二记录连接旋转单元分别连接两组不同的第一热数据存储单元和第二热数据存储单元。 第二热数据存储单元通过旋转单元连接至筛选单元。 筛选单元连接至筛选存储单元。 单元，筛选存储单元连接至第一录像存储单元。 2.根据权利要求1所述的超融合系统及基于超融合系统的数据处理方法，其特征在于：所述冷数据存储单元、第一热数据存储单元和第二热数据存储单元均为相关旋转单元是双向连接的。 3.根据权利要求1所述的超融合系统及基于超融合系统的数据处理方法，其特征在于：所述冷数据存储单元、第一热数据存储单元和第二热数据存储单元均为连接至记录单元，记录单元连接至数据输出单元。 4.根据权利要求1所述的超融合系统及基于超融合系统的数据处理方法，其特征在于： 所述第一记录存储单元与所述旋转单元直接连接，并且还与所述筛选存储单元连接。 5、 根据权利要求 1所述的超融合系统及基于超融合系统的数据处理方法， 其特征在于： 所述第二记录存储单元连接有筛选单元， 所述筛选单元连接有旋转单元。 6.根据权利要求1所述的超融合系统及基于超融合系统的数据处理方法，其特征在于：所述筛选单元和筛选存储单元双向连接。

7、 一种基于超融合系统的数据处理方法，采用权利要求1-6任一项所述的超融合系统，其特征在于，包括以下步骤： 步骤一：设置第一记录存储单元和第二记录存储单元对于各记录存储单元的数据输出周期，将第一记录存储单元的记录输出周期称为第一周期，将第二记录存储单元的记录输出周期称为第二周期。 第一周期的长度比第二周期的长度长。 根据过去的数据输出记录将冷数据存储到冷数据存储单元中，将热数据存储到第一热数据存储单元中。 步骤2：在第一个第一周期中，数据输出单元输出冷数据存储单元和第一热数据存储单元。 第一记录存储单元和第二记录存储单元记录数据经过记录单元的次数； 步骤3、第一个第一周期结束后，第一记录存储单元将存储的数据按照流行度进行排序，然后传递给轮转单元和筛选存储单元，轮转单元将冷数据存储单元中的数据进行轮转，第一热点数据存储单元； 步骤4：下一个第一周期开始后，经过第二个周期后，第二记录存储单元将存储的数据传输至筛选单元。 筛选单元根据筛选存储单元中存储的第一热点数据存储单元中的数据，筛选出与第一热门数据存储单元相同的数据，并根据受欢迎度对记录进行排序后再进行传输。 对于轮换单元，轮换单元对冷数据存储单元和第二热数据存储单元中的数据进行轮换。 8.根据权利要求7所述的基于超融合系统的数据处理方法，其特征在于： 步骤三中，所述轮换单元可以根据所述数据存储单元中存储的数据轮换所述冷数据存储单元和所述第二热数据存储单元。第一记录存储单元。 数据存储单元和第一热点数据存储单元中的数据。 9.根据权利要求7所述的基于超融合系统的数据处理方法，其特征在于： 在第一个第一周期中，由于筛选存储单元中没有对比数据，因此筛选单元无法对数据进行筛选。 将需要旋转的数据信息传输到旋转单元。 10、 根据权利要求 7所述的基于超融合系统的数据处理方法， 其特征在于：

一个周期为12-24h，第二个周期为1-2h。

技术概要

本发明公开了一种超融合系统及基于超融合系统的数据处理方法。 涉及计算机技术领域，包括冷数据存储单元、旋转单元、记录单元和数据输出单元。 记录单元连接到两个不同的组。 第一记录存储单元和第二记录存储单元，旋转单元分别连接两组不同的第一热数据存储单元和第二热数据存储单元，第二热数据存储单元通过旋转单元单元，筛选单元连接筛选存储单元，筛选存储单元连接第一记录存储单元。 本发明通过缩短另一组热点数据存储单元的轮换周期，根据用户在不同时期、不同频率查找不同数据的特点，提高了数据检索的速度和效率，避免出现相同数据的情况。占用热点数据存储单元。 ，提高热点数据存储单元的存储效率。 提高热点数据存储单元的存储效率。 提高热点数据存储单元的存储效率。

技术研发人员：马永胜、罗金平

受保护技术使用者：苏州米达计算技术有限公司

技术研发日：2022.04.26

技术公告日期：2022/7/29