深度学习 对硬件的要求

电脑教程014

深度学习 对硬件的要求,第1张

主要是看运行什么软件和数据量,训练数值大小,这里要强调一下,数值大小和数据量是不一样的。

深度学习服务器的核心部件还是CPU、硬盘、内存、GPU,特别是很多深度学习依靠GPU的大规模数据处理能力,这就要强调CPU的计算能力和数量,同时不同的数据对GPU的显存要求也不一样。

当下大部分都在用RTX3090做深度学习,最新RTX4090已经上市,单精度计算能力是RTX3090的2倍,这两个GPU都是24G显存;像A100强调双精度计算能力,显存有40G和80G两个版本,而A6000单精度计算能和RTX3090差不多,显存是48G,可以参考选择。

当然,最重要的还是口袋里的银子,A6000市场价大概是RTX的2倍还要多,A100最近更是要上十万了,估计也快买不到了,价高缺货;RTX3090/4090的价位低,性价比高,这也是为什么大部分人都选择它们做深度学习了,这是市场的选择。

做深度学习的话,我还是可以有立场说些的。因为我们实验室当时就遇到了这些问题,选择深度学习GPU显卡时建议选择专门做液冷的A100或者RTX3090、RTXA6000、RTXA40等卡,蓝海大脑的液冷GPU服务器具有高性能,高密度⌄扩展性强等特点。液冷GPU服务器产品支持1~20块 GPU卡,还可以选择,毕竟能可以选择也是很好的,芯片主要采用龙芯、飞腾、申威、海光、英伟达、Intel、AMD。完全定制啊,敲开心。适用于深度学习训练及推理、生命科学、医药研发、虚拟仿真等场景,覆盖服务器、静音工作站、数据中心等多种产品形态,量身定制,满足客户全场景需求。技术人员给的建议都非常受用。

深度学习是需要配置专门的GPU服务器的:

深度学习的电脑配置要求:

1、数据存储要求

在一些深度学习案例中,数据存储会成为明显的瓶颈。做深度学习首先需要一个好的存储系统,将历史资料保存起来。

主要任务:历史数据存储,如:文字、图像、声音、视频、数据库等。

数据容量:提供足够高的存储能力。

读写带宽:多硬盘并行读写架构提高数据读写带宽。

接口:高带宽,同时延迟低。

传统解决方式:专门的存储服务器,借助万兆端口访问。

缺点:带宽不高,对深度学习的数据读取过程时间长(延迟大,两台机器之间数据交换),成本还巨高。

2、CPU要求

当你在GPU上跑深度网络时,CPU进行的计算很少,但是CPU仍然需要处理以下事情:

(1)数据从存储系统调入到内存的解压计算。

(2)GPU计算前的数据预处理。

(3)在代码中写入并读取变量,执行指令如函数调用,创建小批量数据,启动到GPU的数据传输。

(4)GPU多卡并行计算前,每个核负责一块卡的所需要的数据并行切分处理和控制。

(5)增值几个变量、评估几个布尔表达式、在GPU或在编程里面调用几个函数——所有这些会取决于CPU核的频率,此时唯有提升CPU频率。

传统解决方式:CPU规格很随意,核数和频率没有任何要求。

3、GPU要求

如果你正在构建或升级你的深度学习系统,你最关心的应该也是GPU。GPU正是深度学习应用的核心要素——计算性能提升上,收获巨大。

主要任务:承担深度学习的数据建模计算、运行复杂算法。

传统架构:提供1~8块GPU。

4、内存要求

至少要和你的GPU显存存大小相同的内存。当然你也能用更小的内存工作,但是,你或许需要一步步转移数据。总而言之,如果钱够而且需要做很多预处理,就不必在内存瓶颈上兜转,浪费时间。

主要任务:存放预处理的数据,待GPU读取处理,中间结果存放。

深度学习需要强大的电脑算力,因此对电脑的硬件配置自然是超高的,那么现在普通的高算力电脑需要高配置硬件。