与其他云作事提供商一样,租用给开拓者和企业的作事器主要适用的是英伟达AI芯片。关连词媒体报说念,亚马逊如今正试图劝服这些客户转而使用由亚马逊自研AI芯片驱动的作事器。
The Information报说念,亚马逊芯片部门Annapurna的业务开拓负责东说念主Gadi Hutt暗示,包括、Databricks、Adobe和Anthropic在内的一些但愿找到芯片替代决策的科技公司,照旧在测试亚马逊最新的AI芯片,并取得了令东说念主饱读吹的限定。
Hutt在亚马逊AWS年度客户大会暗示:“旧年,东说念主们运转坚硬到,‘嘿,亚马逊在AI芯片上的投资是风雅的。’本周,更多东说念主坚信这是一个真正且抓续的干预。”
分析觉得,淌若亚马逊粗拙将客户支拨转动到其自研的作事器芯片上,由于这些芯片部分因为耗电量远低于英伟达芯片而对云客户愈加低廉,这将擢升亚马逊的利润率。此外,这也能谢却英伟达通过平直向企业出租其芯片作事器,霸占更多云商场份额。
英伟达在AI芯片领域的主导地位一直难以撼动,这部分归因于其芯片比包括亚马逊、和谷歌在内的竞争敌手分娩的芯片更刚劲,同期,软件开拓者风俗于使用英伟达私有的Cuda编程谈话为其芯片编写软件。
尽管如斯,Hutt和其他亚马逊高管本周暗示,大客户正在寻求更低廉的替代决策。AWS CEO Matt Garman暗示,使用亚马逊的AI芯片资本比英伟达的旗舰H100芯片低30%到40%,但能罢了同等性能。
目下,亚马逊照旧在开拓传统作事器芯片方面建树了一定的影响力,并告捷劝服客户租用这些芯片。连年来,AWS客户越来越多地使用亚马逊的Graviton作事器芯片,而不是由英特尔和AMD提供芯片的作事器,因为Graviton通常性价比更高。
举例,企业软件公司Databricks照旧成为Graviton的伏击客户,其高管Naveen Rao暗示,缱绻使用亚马逊的新AI芯片以裁汰运行软件的资本。
亚马逊开拓芯片(包括AI芯片Trainium)的举措是其更平淡政策的一部分,这一政策旨在将计算的“基本构件”——从作事器到云软件——调养为低价的通用商品。肖似地,亚马逊CEO Andy Jassy本周秘书了一款由亚马逊打造的新对话式AI模子,他暗示,其性能与Anthropic和OpenAI的最新模子至极,但价钱却低了三倍以上。
Hutt还谈到了公司的新Trainium芯片,以及AWS正在为Anthropic建造的一套超等计行动事器集群。Anthropic是OpenAI的竞争敌手,亦然AWS连年来营收增长的伏击孝顺者之一,目下是AWS上最多使用英伟达作事器的客户之一。
以下是媒体采访Gadi Hutt的对话节选:
1. 使用Trainium2(亚马逊芯片的最新版块),为什么你们要专注于把这款芯片卖给那些在英伟达芯片上破耗高大的公司?
Hutt:那些关注机器学习资本的客户,通常是破耗较大的客户,包括苹果、Adobe、Databricks等,还有一些资金充裕的初创公司,比如Poolside和Anthropic。
对他们来说,关键计算是“每1好意思元能赢得几许性能”。还有许多其他客户,咱们称之为“历久客户”,他们有各式名目相等合适咱们的芯片。但也许他们每月的破耗只消1000好意思元,这种情况下不值得工程师干预时辰去探索这种选项。
本色上,在Trainium2人命周期的这个阶段,我并不寻求引诱上百万个客户。就机器学习而言,咱们还处于相等早期的阶段。东说念主们还在尝试攻克通用东说念主工智能(AGI)和各式种种的念念法,这个领域还在接续演变。
咱们不成从第一天起就救济悉数的用例。淌若客户尝试运行一些无法正常使命的东西,这会是一种相等灾祸的体验。因此,咱们专注于听取最大客户的需求,“嘿,这是咱们需要的”,而这通常是对通盘商场改日需求的一个很好的预测。
2. Trainium2在来岁的主见是什么?
Hutt:当咱们部署多半芯顷刻间,咱们的主见是确保它们被充分应用。是以咱们当先需要与这些大客户勾通,然后再彭胀到我所说的“历久客户”。对咱们这些制造芯片的东说念主来说,告捷的揣度圭臬是确保悉数芯片齐被充分应用。无论是10个客户照旧1000个客户,数目是次要的。
这是场马拉松,而不是短跑。跟着时辰的推移,咱们但愿看到越来越多的客户。我不会在里面制定主见,规矩要启用几许客户。咱们更关注的是确保为客户提供合适的器具和性能,收受率当然会随之提高。
3. 为什么第一代Trainium芯片莫得告捷实际?第二代有什么不同?
Hutt:当先,这是咱们的第一款试验芯片。你不错望望Trainium1(2022年发布)与Graviton1(2019年发布)的对比,一样的故事。Graviton1本色上是为了启用通盘生态系统,包括软件生态系统,并确保咱们为客户构建了正确的家具。
Trainium1的客户(包括亚马逊里面的团队)匡助咱们强化了软件,但使命仍未完成。在救济更多使命负载方面,咱们还有好多使命要作念。不外,目下咱们不错说,咱们对Trainium2粗拙救济的使命负载感到相等安逸,包括大型谈话模子(LLM)、各人模子、多模态模子以及计算机视觉模子。
这需要时辰,况兼很复杂。淌若很容易,更多东说念主早就作念到了。
3. AWS的客户是否在商量来岁选拔租用Trainium2照旧英伟达的Blackwell芯片?
Hutt:客户可爱有选拔的余步。咱们的使命是确保咱们的芯片即使与英伟达的最新芯片比较,也依然具有引诱力,目下确乎如斯。
趁便说一句,咱们还莫得见到72芯片的Blackwell系统干预使用,但假定英伟达粗拙托付,Trainium2依然会更具资本效益。
Trainium3(瞻望2025年底发布)的计算武艺是Trainium2的四倍,因此客户了解咱们的发汗阶梯图。他们有信心觉得,这是一个值得投资的主见,不然他们不会选拔它。
4. 你觉得英伟达GPU的需求是否会发生变化?
Hutt:有好多客户念念使用英伟达芯片,不肯了解Trainium芯片。淌若你是袖珍GPU破费者,每次幽静使用10、20、30以致100个GPU,莫得能源去篡改近况。即使每月能省下几千好意思元,你可能也更繁荣让工程师去作念别的事情。
当客户热心资本问题时,通常是在他们运转扩大鸿沟时,但大鸿沟的客户并未几。是以对咱们来说,这些芯片是历久投资,以确保咱们为客户提供选拔。淌若客户选拔使用它们很好,但淌若不选拔,咱们依然是运行GPU的最好平台。
咱们的软件训练度会跟着时辰的推移而提高,但愿届时会有更多客户选拔使用Trainium。但GPU对咱们来说亦然一项好业务,咱们在卖好多。是以,淌若客户但愿咱们为他们提供GPU,咱们会永远这样作念。
5. 使用Trainium芯片是否会提高AWS的利润率?
Hutt:咱们不会泄漏利润率的具体情况,但咱们在这些芯片上并莫得亏蚀。业务必须有存在的意旨,不然咱们不会在这里投资。
6. 客户何时运转对Trainium2感兴趣?
Hutt:我谨记与Poolside(一家AI编码助手初创公司)的第一次会议。当咱们向他们展示Trainium2的规格时,他们说,“好吧,这恰是咱们需要的。”
7. Anthropic的超等计算机集群名目Rainier的耗电量是几许?
Hutt:咱们莫得泄漏具体数据。但我不错告诉你,它比等效的GPU后果高50%。
8. 超等计算机何时能在Anthropic干预使用?
Hutt:Rainier名目很快就会完成,咱们照旧在建造中。他们不错冉冉运转使用部分集群,而不需要比及终末一颗芯片上线后再使用。跟着集群彭胀,他们不错冉冉增多使用量。
9. Anthropic是否是唯独不错使用Rainier名目的公司?
Hutt:是的,仅供Anthropic使用。
咱们正在修复更多的产能,以满足其他客户使用Trainium的需求。目下,短期内需求大于供应。是以第一季度将相等急切,跟着产能增多,情况会有所改善。