当前位置:主页 > 行业指南 >

基于机器学习平台如何获取、处理和保留数据

发布时间:19-09-28 阅读:822

人工智能和机械进修已成为两个最紧张的对象,它们可赞助企业使用其核心数字资产创造竞争上风。然则在购买AI数据存储之前,企业必须斟酌各类需求–基于机械进修平台若何获取、处置惩罚和保留数据。

首先我们应确定机械进修软件应用的数据的生命周期,由于这可赞助企业懂得在为AI选择存储时必要斟酌的身分。最初,企业必须获取数据来练习机械进修或AI算法,这里涉及软件对象来处置惩罚数据以进修义务,例如识别工具、处置惩罚视频和跟踪运动。而这些数据可能来自多种滥觞,并且平日本色上长短布局化的,例如工具和文件。

这个练习历程将获取数据资产,并应用机械进修或AI软件来创建算法以用于处置惩罚未来数据源。在练习或开拓算法时,AI软件将处置惩罚源数据来开拓模型,从而创建洞察力或满意营业需求。

开拓机械进修算法很少是单一流程。跟着企业积累新数据,算法会获得完善和改进。这意味着险些没稀有据被丢弃,而是跟着光阴的推移赓续增添和从新处置惩罚。

购买AI数据存储的标准

在为AI平台选择存储前,企业必须首先斟酌以下事变:

资源。对付企业而言,AI数据存储的价格是关键身分。显然,最高治理层和采购决策职员都盼望存储尽可能具有资源效益,并且在许多环境下,这将影响企业的产品选择和策略。

可扩展性。我已经强调创建机械进修或AI模型必要网络、存储和处置惩罚大年夜量数据。机械进修算法要求源数据呈指数增长,以实现正确度的线性前进。创建靠得住而准确的机械进修模型可能必要数百TB以致PB的数据,而且这只会跟着光阴的推移而增添。

而构建PB级存储系统平日意味着应用工具存储或横向扩展文件系统。今世工具存储肯定可以办理AI事情负载的容量需求,然则它们可能无法满意其他标准,例如高机能。另一方面,横向扩展文件系统可以供给高机能和优越的可扩展性,但在单个平台存储全部数据集可能会很昂贵。同时,斟酌到可扩展性请乞降高容量产品的资源,块存储平日不是机械进修或AI的精确选择。这里独一的例外是在公共云中,稍后我们将对此进行评论争论。

存储资源的变更引入了分层或应用多种类型存储来存储数据的设法主见。例如,工具存储库是存储大年夜量非活动AI数据的好法子。当必要数据进行处置惩罚时,数据可被移动到高机能文件存储集群或为高机能而设计的工具存储的节点中,当完成处置惩罚,数据将被移回。

机能。AI数据的存储机能包括三个方面。首先,可能也是最紧张的是延迟性。这定义了软件发出的每个I / O哀求的处置惩罚速率。低延迟很紧张,由于改良延迟会直接影响创建机械进修或AI模型所需的光阴。繁杂的模型开拓可能必要数周或数月的光阴才能运行。经由过程缩短此开拓周期,企业可以更快地创建和完善模型。在反省延迟功能时,因为工具造访的流性子,工具将参考传送首字节的光阴(Time To First Byte),而不是单个I / O哀求的延迟。

机能的另一个方面是吞吐量,以及数据写入存储平台或从存储平台读取数据的速率。系统吞吐量很紧张,由于AI培训会处置惩罚大年夜量数据集,平日会反复读取和从新读取相同的数据,以准确地开拓模型。机械进修和AI数据的滥觞(例如自动驾驶汽车上的传感器)天天可以孕育发生数TB的新数据。所有这些信息都必须添加到现稀有据存储中,并且需确保对任何现有处置惩罚只有最小影响。

机能的着末一个方面是并行造访。机械进修和AI算法会并行处置惩罚数据,运行多个义务,这些义务会多次读取同一数据且跨多个并行义务。工具存储长于并行读取I / O处置惩罚,由于不必要治理工具定或属性。文件办事器会跟踪内存中打开的I / O哀求或文件句柄。是以,生动I / O哀求的数量取决于平台上可用的内存。

此外,机械进修数据可能包孕大年夜量的小文件。在这方面文件办事器可以供给比工具存储更好的机能。企业可向AI存储供应商提出的关键问题是,当面对大年夜文件类型或小文件类型,其产品的机能特性将若何发生变更。

可用性和耐用性。机械进修和AI进修模型必要长光阴继续运行。经由过程练习开拓算法可能必要几天或几周的光阴。在此时代,存储系统必须维持持续可用,这意味着任何进级、技巧替换或扩展都不能停机。

在大年夜型系统中,组件故障是正常征象,但必须确保不会导致停机。这意味着用于AI??的任何平台都应该能够从设备(例如HDD或SSD)以及节点或办事器故障中规复。对此,工具存储应用擦除编码将数据广泛散播在很多节点中,并可使组件故障的影响降至最低。还有些擦除编码技巧可横向扩展文件系统以供给一致级其余弹性。擦除编码规划的效率很紧张,由于这直接与读写I / O的机能有关,尤其是对付小文件。

因为大年夜多半大年夜型工具存储太大年夜而无法按期备份,是以靠得住的擦除编码将成为AI存储平台的基础功能。

公共云。开拓机械进修和AI算法既必要高机能存储又必要高机能谋略。很多AI系统都是基于GPU(例如Nvidia DGX),这可移除开拓正确算法所涉及的很多繁杂数学谋略。

公共云办事供给商已开始供给可用于机械进修的GPU加速虚拟实例。在公共云中运行机械进修对象可低落构建为机械进修开拓构建根基架构的本钱资源,同时可扩展根基举措措施以开拓机械进修模型。

应用公共云谋略的寻衅是若何以经济高效且实用的要领将数据导入公共云。基于云的工具存储太慢,无法满意机械进修的I / O需求;是以,必须应用本地块存储。然而,在移动数据时,每分钟延迟都邑前进运行根基架构的资源,还有履行机械进修的延迟。

公共云的另一个问题是数据转出的资源。只管云办事供给商不收取将数据移入其平台的用度,但他们会对从其平台外部的公共收集造访数据收取用度。是以,虽然公共云供给谋略机动性,然则在公共云可能难以确保及时且经济高效地将数据移入和移出云。

供应商正在开拓存储产品,以公共云中运行其产品,超过本地和云端。这些产品可以有效地复制数据或将数据移至云中,并且在完成后仅将结果移回。这些复制技巧具有高带宽效率,使在本地存储数据并导入到云中进行阐发事情变得切实可行。

整合。在整篇文章中,我们都着眼于机械进修和AI的存储方面。构建AI数据存储可能会很艰苦,我们必要斟酌多种身分以确保存储收集和调剂存储可共同机械进修利用法度榜样。

正如我撰写的有关交融根基架构的文章所述,预包装产品使供应商能够在将产品交付给客户之前对其产品进行测试和优化。现在市道市面上有些存储产品整合了盛行的AI软件、(通用CPU和GPU等)谋略、收集和存储,以供给支持AI就绪的平台。在支配这些系统之前,很多细节调试事情已完成。只管资源可能是问题,但对付很多客户而言,预包装的系统可以削减支配AI存储的障碍。

当然,选择精确的AI数据存储平台必要权衡指标,例如机能、可扩展性和资源。精确设置存储平台至关紧张,由于这里涉及的数据量异常大年夜,选择差错的产品可能会价值高昂。与任何存储产品决策一样,企业应该与供应商交谈,以准确懂得其产品若何满意AI和机械进修的需求。这个历程应包括展示和评估,作为任何潜在购买决策的条件。

作者:Chris Evans滥觞:TechTarget中国



上一篇:“超级月亮”遇佳节 元宵满月更“圆满”
下一篇:所台“断交”事件簿