×

存储技术

什么是DNA存储技术作为数字存储媒介,它有什么优缺点?存储平台,如何保证数据存储的可靠性

admin admin 发表于2024-03-14 19:52:49 浏览32 评论0

抢沙发发表评论

本文目录

什么是DNA存储技术作为数字存储媒介,它有什么优缺点

图片来自“123rf.com.cn”

全球每年产生的数据需要4180亿个1TB硬盘才能放下,若是把如此庞大的数据放到DNA上,只需 1kg DNA就够了!DNA存储才是未来!

几年前,甚至研究人员也不愿使用DNA来存储数据,因为这看起来过于科幻,并没有任何实用价值。今天,我们可以使用正确的软件和生物化学模块扩展PostgreSQL,并在DNA上运行SQL。

在这个数据爆炸的时代,全球的数据不仅远远超过我们理解数字的能力(比如你知道Zettabytes是多少吗?)更超过了我们的储存能力。

一切都是数字化的,一切都越来越多地运行在基于数据训练算法的应用程序上,而这些算法反过来会产生更多的数据来为更多的下游应用程序和算法提供信息。你懂了吧?

简单地说,按照这种速度,很快就没有足够的数据存储和计算材料可供使用。这就是为什么人们现在已经开始寻找替代的数据存储介质的原因。使用DNA来存储数据,这听起来很奇怪,实际上很有意义。现在,研究人员取得了突破,使他们能够将DNA存储整合到流行的开源数据库PostgreSQL中。

DNA是如何储存数据的?

DNA的核心是数据存储层。DNA由四种碱基组成:腺嘌呤、鸟嘌呤、胞嘧啶和胸腺嘧啶(又名AGCT)。从这四个碱基中,DNA形成由三个核苷酸组成的基团(称为密码子)。密码子是给我们的细胞指示蛋白质形成的单位。

我们的信息技术基础设施基于以位(bits)为单位的信息存储(由两位数字组成:0和1),而DNA信息存储在四个潜在基本单元的串中。为了将非遗传信息存储在DNA中,我们必须首先将二进制数据从位转换为DNA数据(AGCT)结构。

将Bits转换为DNA序列

理论部分实际上相当简单。与使用硅或磁性介质(它们的工作原理是将状态存储为1和0的序列)相同,存储A、G、C和T的序列。但是,这在实践中是如何工作的呢?如何在DNA中写入和读取数据呢?

这听起来可能有点遥不可及,但分子技术的进步已经使它成为可行——尽管并不完美。

例如,微软展示了世界上第一个自动DNA数据存储和检索系统。如果你想知道这个DNA来自哪里:这是合成DNA,产生它的是系统的一部分。

天然存在的DNA由两条核苷酸链的双螺旋的形式构成。相反,用于数据存储的DNA是单链核苷酸序列,也称为寡核苷酸(oligo),它通过化学过程合成,该化学过程一次构建一个核苷酸。

使用DNA在现实世界中存储数据

伦敦帝国理工学院SCALE实验室负责人Heinis和Eurecom数据科学系助理教授Appuswamy 在创新数据系统研究会议上发表了题为“ OligoArchive: Using DNA in the DBMS storage hierarchy ”的研究论文。虽然他们不是第一个使用DNA存储和检索数据的人,但他们是第一个使用结构化数据、与现成的数据库集成、并超越存储、实现计算的人。

关于DNA作为数据存储层的第一件事是,每次执行写操作时,都必须合成寡核苷酸。这将如何在实践中发挥作用?实验室技术人员是否必须待命执行此操作,并“重新填充”用于化学过程的原材料?

并非如此,根据Appuswamy和Heinis的说法,这是微软通过其自动DNA存储和检索系统所证明的价值所在。这表明,在没有人参与的情况下操作这样一个过程是可能的。就像除了维护,没有人监督数据中心的日常运作一样,这同样适用于基于DNA的数据中心。

尽管如此,我们还远没有用合成DNA阵列取代硬盘。首先,以这种方式存储数据的现代技术非常缓慢。刚开始,科学家们花了一周时间来存储一兆字节的数据。

Appuswamy和Heinis一致认为,在这方面还需要更多的工作。但这超出了他们自己的研究范围,所以只能等待生化合成过程进一步提高。

首先,他们注意到存储速度已经越来越快,目前速度是每秒几KB。虽然与SSD相比,这仍然非常缓慢,但这是一个很大的进步。对于Appuswamy和Heinis的研究(即归档存储),这实际上是可以接受的。

数据库引擎使用三层存储层次结构,由具有不同价格/性能特性的设备组成。性能层存储高性能OLTP和实时分析应用程序访问的数据。

容量层存储由延迟不敏感(latency-insensitive)的批分析应用程序访问的数据。归档层用于存储很少访问的数据,例如,在安全合规性检查或法律审计期间。今天磁带通常用于这一层。

OligoArchive通过将基于磁带的归档层替换为基于DNA的归档层来改变数据库存储层次结构。合成DNA的存储需要额外的措施,对于普通的设备来说,基于DNA的存储是否有效还值得怀疑。但无论如何,数据和数据库都将进入云端,只要你的数据安全地存储在数据中心,对终端用户来说,这都是一个黑匣子。

在DNA上运行SQL

Appuswamy和Heinis还指出,即使它仍然很慢,DNA存储提供了很大的并行处理潜力。因为它很丰富、价格低廉 - 或者更确切地说,我们希望它最终会是这样。按照目前的速度,存储一分钟的高质量立体声将花费100,000美元。

尽管使用合成DNA进行大规模存储仍然过于昂贵,但Appuswamy和Heinis表示,他们预计成本会下降,这是包括存储技术在内的每一项科技突破的典型方式。

如果合成寡核苷酸在经济上变得可行,那么拥有大量的合成寡核苷酸将是一个合理的预期。这意味着许多DNA存储单元可以并行运行的巨大潜力。虽然不是每种算法的每一个方面都是可并行的,但对于那些算法来说,可以实现极大地加速。这就把我们带到了一个关键点。

直到今天,DNA一直被用于存储非结构化文件,无论是文本还是视频,或者其他什么。Appuswamy和Heinis所做的是将DNA存储整合到关系数据库中。他们采用了标准数据库基准测试TPC-H中包含的数据和查询,并在PostgreSQL实例上运行了TPC-H。不是串行访问,而是随意选择数据。

使用后端的DNA在数据库系统中存储结构化数据,并通过SQL查询,这在今天已成为现实

研究人员为PostgreSQL构建了归档和恢复工具(pg_oligo_dump和pg_oligo_restore),对DNA上的关系数据执行模式感知编码和解码,并使用这些工具将12KB TPC-H数据库归档到DNA,执行in-vitro计算,以及再次恢复它。

这是巨大的。这意味着现在DNA存储还可以支持SQL操作,来有选择地访问和处理部分数据。请注意,数据不会被提取到数据库来执行操作。Appuswamy和Heinis找到了一种方法来处理寡核苷酸中的SQL连接。这超出了生化储存的范围——它还需要生物化学计算。

然而,要做到这一点,研究人员必须处理一系列与用于编码和解码DNA信息的技术缺陷有关的问题。对DNA进行操作需要专门的编码技术,这些技术可以产生适合生化操作的寡核苷酸。读取DNA数据目前非常容易出错,以前的工作依赖于数据过度表示(over-representation):数据被写在许多副本中,因此如果原始数据被破坏,备份还在。

相比之下,Appuswamy和Heinis依赖于元数据。他们利用数据库模式感知,在编写的块中添加一些额外的数据位。研究表明,这可以在编码(写入)过程中提高密度,并有助于在解码(读取)过程中识别错误。他们注意到这比预期效果更好。

DNA是数据的未来吗?

尽管部分技术还不成熟,但这是一个重大突破。拥有足够的数据中心存储空间已经成为一个game changer。但是,将像DNA这样丰富的东西作为一种可行的存储和计算介质的意义可能会超出我们的想象。

这可能只是朝这个方向迈出的第一步,但每一个旅程都从第一步开始,Appuswamy和Heinis并不是独行者。

Eurecom,CNRS,ICL,UCA以及DNA合成初创企业Helixworks已获得欧盟资助,以进一步开展DNA储存研究。该系统将被设计成支持数据编码的全自动循环,将其合成为DNA,并通过序列读取数据。它将存储各种不同的数据类型,并在存储和精确检索数据时实现近距离数据处理。

将数据存储在DNA中的进一步研究将由欧盟资助

Appuswamy和Heinis提到,到目前为止,主要是其他研究人员对这个感兴趣,至于说公司,微软似乎比任何公司都表现出了更多的兴趣。

掌握这项技术可能意味着拥有未来,因为这一领域的突破将产生巨大的影响。Appuswamy和Heinis指出,这表明了人们的态度:

“几年前,人们会认为这太离谱了。今天,当我们告诉他们我们正在做什么时,他们会说——多告诉我们一些”。

原文链接:

存储平台,如何保证数据存储的可靠性

很高兴为您解答!

我是做智能化弱电的,我将结合视频监控的存储方案,针对如何保存数据可靠性这个问题做个简单分享:

1、视频监控存储方案演变

①最开始模拟时代,存储是采用DVR,DVR对视频摄像头进行录像,录音,控制,存储方案架构简单,数据不可靠;

②网络时代,诞生了网络硬盘录像机,但存储方式丝毫未变,还是传统的DAS解决方案

③视频中心存储,集成编码设备管理,录像设备管理,存储,转发为一体的新一代视频专用存储技术,引入了raid,视频流直存,前端过来的摄像头通过iSCSI协议将数据直接存到中心管理平台IPSAN中;

④云存储,通过集群技术应用,将网络中大量各种不同类型存储设备通过软件集合起来协同工作,共同对外提供数据存储和业务访问功能的系统;

2、存储方案特点

从最开始DVR/NVR存储逐步演变到CVR和云存储,存储方案也由最开始的不可靠,不稳定性,扩展性差,数据安全性低,逐步升级到可靠,稳定,扩展性,安全性高的云存储解决方案;

综上所述,视频监控的数据从最开始单一的DVR/NVR存储演变到复杂可靠性更高的云存储,存储的方案也变得越来越成熟,如果你觉得我的回答对你有帮助,请随手点赞,并关注,我会一直做智能化弱电行业的知识分享!

英特尔快速存储技术怎么使用

  一、英特尔快速存储技术的简介

  首先我们需要来了解一下英特尔快速存储技术的意思,英特尔快速存储技术,即IntelRapid Storage Technology (简称IntelRST)),是一个基于 Windows的应用程序。该程序为配备 SATA 磁盘的台式机、移动电脑和服务器平台系统提供更高的性能和可靠性。当使用一个或多个 SATA 磁盘时,您可因性能提高及耗电降低而获益。使用多个磁盘时,可增强对磁盘故障时数据丢失的保护。

  换言之,英特尔快速存储技术是建立在用户拥有2块或2块以上硬盘的基础上,让硬盘组成RAID磁盘阵列,增加磁盘性能。而与以往单纯的RAID磁盘阵列不同的是,英特尔快速存储技术支持2块不同大小、不同种类的’硬盘组成RAID。下面,我就以一台戴尔成就V3560为例,来为大家讲解下如何将一块32GB固态硬盘和一块750GB机械硬盘放在一起组成英特尔快速存储技术中所声称的RAID 0,从而为笔记本的机械硬盘加速。

  二、英特尔快速存储技术的使用

  英特尔快速存储技术是通过增加ssd固态硬盘当作缓存来使用的,所以对单机械硬盘是没什么用处的,说到保护硬盘什么的,并不能起到很大的用处,所以说单机械硬盘是可以卸载的。还有就是想提升电脑速度的可以按此方法做,不用买太大的固态硬盘,只做缓存而已,系统是装在机械硬盘里的,而且设置都很简单,当然,如果你米多可以直接拿固态硬盘替换,此种方式只不过是比较经济实惠罢了。

  笔者自从装了64位的win7旗舰版,内存4G,开机,开机后都感觉很卡,尤其是开机后,得等半天电脑才清醒,笔者是单机械硬盘的,日立7200转320G的,昨晚把英特尔快速存储技术卸载,相应的IDE驱动也被卸载了,里面多出来4个ATA驱动,进入bios查看是AHCI,重启后,感觉好多了,开机后再没那么卡了。笔者觉得英特尔快速存储技术及其驱动用于组RAID的用处比较大,而对于AHCI还是用联想提供的AHCI驱动就行了,之后测试复制文件,打开游戏,速度跟以前一样,貌似比以前快了些。

  三、开启快速存储技术

  在系统和一般驱动程序安装好后,我们还需要安装一下之前所提到的Intel Rapid Storage Technology程序。在一切都安装好以后,我们打开英特尔快速存储技术软件将呈现下图中的样子。

  这里我们点击加速

  选择需要加速的磁盘以及加速模式(为了有更好的效果,这里选择最大化模式)

  加速模式开启完成

  启用加速模式后的磁盘管理信息

  从英特尔快速存储技术软件界面给出的信息来看,这台成就V43560笔记本内部的32GB固态硬盘被用作了机械硬盘的缓存,也就是说通过英特尔快速存储技术,我们得到了一块拥有32GB高速缓存的混合硬盘,这款“混合”硬盘的性能比较好。

Win7桌面右下角提示“英特尔快速存储技术未在运行“怎么办

故障现象:  英特尔(r)rst服务是英特尔快速存储服务,即intelrapidst,该程序为配备sata磁盘的台式机、移动电脑和服务器平台系统提供更高的性能和可靠性。当使用一个或多个sata磁盘时,可因性能提高及耗电降低而获益。使用多个磁盘时,可增强对磁盘故障时数据丢失的保护,安装intel快速存储服务前需要于bios中开启ahci模式。很多计算机用户在开机后会发现intel(r)rapid状态为英特尔(r)rst服务未在运行,右键选择打开英特尔快速存储技术中心会提示应用程序无法打开,请重新安装或重新启动。  解决方法:  1、需要确认主板bios中硬盘的工作模式,单硬盘需在设置成ahci,多盘可选设置成raid或ahci;  2、右键桌面的计算机图标---管理---服务和应用程序---服务,或者使用wiindows徽标键+r组合键,打开运行窗口,输入services.msc命令,打开服务窗口;  3、找到英特尔(r)快速存储技术,双击打开一般都是中文显示,如果没有找到中文请找intel(r)rapidstoragetechnology;  4、在英特尔快速存储技术的属性窗口中,将启动类型修改为自动,如果服务状态是停止状态请点击启动来启动该服务-应用-确定;  注:如果安装了360安全卫士等第三方电脑管家,请前往电脑管家的开机加速处将英特尔快速存储的开机项目(intel(r)rapidstoragetechnology)设置为开机自启动,而不是拦截。

如何正确开启 intel快速存储技术

首先要在在系统 BIOS 中启用 RAID。

按照以下步骤操作 , 在操作系统安装过程中安装英特尔®快速存储技术驱动程序 :

安装英特尔®快速存储技术用户界面出现提示时 , 按 F6 键通过 " 讯息 :

如果您需要安装第三方 SCSI 或 RAID 驱动程序 , 按 F6

在文本模式阶段 WindowsXP* 安装程序开始时显示此消息。

扩展资料:

英特尔快速存储技术为台式机和移动平台提供了全新级别的保护、性能和可扩展性。无论是使用一个还是多个硬盘 , 用户都能享受到更强的性能表现和更低的能耗。 如果使用多个驱动器时 , 用户就可以拥有更严密的保护数据免遭丢失在硬盘发生故障时。

英特尔快速存储技术用户界面将使存储设备的创建与管理变得更简单、更直观的。 与 Intel 快速恢复技术相结合 , 数据保护可以很容易地与外部驱动器来完成。

配置系统可在发生时保护宝贵的数字资料的三个容错 RAID 级别中的任意一个 :RAID1 、 RAID5 或 RAID10 。 通过在一块或多块其它硬盘上无缝存储数据备份 , 任何硬盘发生故障或系统停机时均不会丢失数据。 移除发生故障的驱动器并安装替换硬盘驱动器时 , 数据容错很容易恢复。

参考资料:百度百科-英特尔快速存储技术

Intel 快速存储技术如何设置

Intel 快速存储技术,即IntelRapid Storage Technology (简称IntelRST)),是一个基于 Windows的应用程序。该程序为配备 SATA 磁盘的台式机、移动电脑和服务器平台系统提供更高的性能和可靠性。当使用一个或多个 SATA 磁盘时,您可因性能提高及耗电降低而获益。使用多个磁盘时,可增强对磁盘故障时数据丢失的保护。 RST功能中的Smart Response技术就是将固态硬盘做高速缓存盘用的,打开你的英特尔快速存储技术的控制面板如果有加速服务可选就代表支持。将系统安装在机械硬盘,固态硬盘上面不保存任何数据。1)Smart Response智能响应功能设置前准备首先在主板BIOS中将RST Smart Storage caching功能,并将SATA模式设置为RAID模式,在安装系统后安装英特尔RST 10.5官方驱动,然后开启英特尔控制中心中的快速存储技术,并点击界面中“启动加速”即可开始进行Smart Response加速设置了。2)Smart Response智能响应功能设置软件会自动读取接驳在主板上的固态硬盘的容量信息,你可以选择作为缓存的容量大小18.6GB还是整个固态硬盘容量作为缓存空间,当然这个缓存空间目前只支持最大64GB,如果固态硬盘的容量超过64GB,超出部分用户仍然可以作为磁盘空间自由使用。增强模式最大化模式软件提供了两种加速模式,一种为默认的增强模式,可以提升系统对磁盘的读取速度;而另外一种为最大化模式,该模式可以提升系统对磁盘的读取以及写入的速度,但当出现硬件故障和意外断电时存储在固态硬盘中的未写入的数据将会丢失。3)完成Smart Response智能响应功能设置按下“确应”就可以完成整个Smart Response的设置,现在你就可以感受Smart Response给你系统所带来的高速读写性能了。此外有留意的一点是,Smart Response目前只允许一个固态硬盘作为高速缓存,并且必须接驳在主板芯片所提供的SATA接口上才能实现该功能,并且在只能对单个硬盘或单个阵列进行加速,而固态硬盘必须不包含在磁盘阵列中。以上文章仅为参考帮助说明,并不做全面的可适用性保证,相关支持请点击右侧的微博进行讨论。点击搜索更多硬件问答:中关村在线问答堂-硬件更多的关于电脑和网络的问题请到中关村在线-硬件论坛交流分享希望以上信息对你有所帮助