封面图片

编程百科

NVIDIA和深度学习

2021年双十一,用大概6500元的价格购买了一块NVIDIA GeForce 3070Ti显卡。那时候挖矿潮叠加新冠疫情的产能危机导致价格暴涨,英伟达公司也因此赚的盆满钵满。ChatGPT-4等相关AI产品的出现,将英伟达送上了全球市值前五的科技公司。

英伟达和它的风口

英伟达公司于1993年成立于美国加利福尼亚州圣克拉拉市,是一家全球领先的半导体公司,专门从事GPU(图形处理器)和其他计算机硬件的研发和销售。英伟达公司的GPU产品具有高度并行的计算能力和优秀的浮点运算性能,这使得其在深度学习领域具有独特的优势。

英伟达公司的创始人是Jensen Huang、Chris Malachowsky和Curtis Priem。他们三人在斯坦福大学的电子工程和计算机科学学院相遇,并共同创立了这家公司。在公司创立之初,英伟达的目标是为3D游戏提供高性能的图形处理器。不过,由于技术的不断进步和市场需求的变化,英伟达公司的GPU产品逐渐应用于了其他领域,尤其是深度学习领域。

随着深度学习技术的发展和应用,英伟达公司的GPU产品在加速深度神经网络的训练和推理方面具有独特的优势,被广泛应用于深度学习的研究和开发中。英伟达公司推出的CUDA平台和cuDNN库为深度学习的开发和应用提供了良好的支持。CUDA平台可以帮助研究人员和开发者使用GPU加速深度学习框架,加快神经网络的训练和推理速度,而cuDNN库则为深度学习框架提供了高效的卷积计算和优化算法。

除此之外,英伟达还推出了一系列的深度学习专用GPU。例如,Tesla V100 GPU是目前市场上性能最强大的GPU之一,它采用了NVIDIA自主研发的Volta架构,具有极高的计算性能和内存带宽,能够满足大规模深度学习任务的需求。此外,NVIDIA还推出了面向AI应用的Jetson系列嵌入式计算平台,为物联网、智能机器人、自动驾驶等领域的智能化应用提供了强有力的支持。

随着OpenAI发布的ChatGPT-4大热,人工智能和深度学习再次成为人们关注的焦点。英伟达也因此成为AI产业链中受益最大的那个厂家。截止5月30日,市值突破一万亿美元,相当于8个英特尔的市值,一举成为全球市值前五的公司,前面分别是苹果、微软、谷歌和亚马逊。

英伟达的护城河:CUDA

2023年,英伟达CEO黄仁勋在台大毕业典礼上发表了一个演讲。他在演讲中提到他和2个合伙人创办公司的过程。刚开始他们为世嘉开发图像处理器,后来windows发布,他们转去开发基于windows平台的图像处理器。之后他们发现,他们的处理器跟windows绑定太深,开发人无法直接调用图像处理器的计算能力。然后他们克服各种阻力,研发了CUDA,使其摆脱了对windows平台的依赖。至此,英伟达的康庄大道由此铺开。

CUDA(Compute Unified Device Architecture)是NVIDIA推出的一种并行计算平台和编程模型。它基于GPU的并行计算能力,为开发者提供了一种高效的并行计算方式。

CUDA最初是NVIDIA为了加速图形渲染而推出的一种技术。随着GPU计算能力的不断提升,CUDA开始被应用于其他领域,尤其是深度学习领域。CUDA提供了一种高效的并行计算方式,能够将计算任务分配到GPU上进行并行处理,从而加速深度学习计算。

CUDA包括了一系列的编程接口和工具,例如CUDA C++、CUDA Fortran和cuDNN等。借助这些工具,开发者可以方便地使用GPU加速深度学习任务,显著提升计算性能和效率。

最后

记得30系显卡发布的时候,我在B站看了相关视频,第一次注意到CUDA这个词。之后这个词就不断地出现在我的视野中。现在流行的深度学习框架tensorflow、pytorch等都使用了CUDA这个面向GPU计算的综合开发环境。最后推荐一本深度学习入门书籍:斋藤康毅的《深度学习入门》。

2023年06月05日
在初学者眼中,世界充满了可能;专家眼中,世界大都已经既定。--铃木俊隆