来源：内容由半导体行业观察（ID：icbank）编译自【The Nextplatform】，谢谢。
谷歌致力于打造自己的人工智能芯片已是众所周知的，但我们要注意的是，在2013年初，该公司曾设想机器学习可能会消耗大部分的计算时间。因为推理是一个
特别昂贵的命题，迫使谷歌审视在为自己的大规模人工智能推理操作创建专用芯片方面可能扮演的角色。TPU诞生时具有TPUv1服务推断功能。
尽管可以实现高性能推断，但不久之后Google的TPU设计师和工作量专家才真正意识到了真正的瓶颈已成为训练。这推动了向TPUv2的发展，以进行高效，可扩展的高性能训练。
关于这些设备的成功和设计已经写了很多，但是我们从来没有很好地了解设计TPU的挑战-从硬件本身到工程团队的要求的一切。核心TPU设计团队(包括Cliff Young、Norman Jouppi和David Patterson)在IEEE最近发表的一篇回顾文章(behind paywall)中讨论了首批芯片与TPUv4之间的一些个中事件。
TPU设计团队澄清说，尽管Google吸引了众多工程师，但分配给他们自己的芯片工作的数量和预算都是有限的。任何芯片初创公司甚至软件公司都可能会遇到这种情况，因此值得在最初的设计过程中以及整个后代中确定它们的优先级，而这一切都是在训练复杂性和规模呈指数级增长的时候进行的。
为了解决这些限制，谷歌团队有两个“buckets”目标:那些必须非常出色，其他的必须工作。优先考虑的项目包括快速构建的能力，实现跨芯片扩展的高性能设备，调查和考虑新的工作负载，当然，还有成本效益。他们说，其他一切都是次要的。虽然人们倾向于把这些次要的问题当作小的尴尬置之不理，但现实情况是，建立和交付一个好的系统，与决定不做什么一样重要。回想起来，这些决定一点也不令人尴尬。”
尽管谷歌可以分享的关于敏捷芯片设计过程的许多经验都是特定于TPU的，但在第一桶项目中还是有一些重要的特性。
无论是对于Google还是初创公司，“快速构建”的口头禅自然都位居榜首，但此阶段的一切都是权衡与牺牲，即使他们在流程结束时并没有“尴尬”。TPU小组说：“我们的跨团队合作设计理念发现了设计更简单的硬件，该硬件还提供了更可预测的软件控制，例如对主存储器（HBM）的DMA和由编译器控制的片上存储器，而不是缓存。”TPU团队补充说，一路艰难的权衡以平衡开发进度，甚至处理“过时的”芯片布局。
他们对高性能和将多个芯片串在一起的能力几乎没有发言权，因为这些是这项工作的关键部分。然而，在预算和工程限制之间进行平衡和权衡时，要跟上新训练工作量的冲击，这一过程就变得复杂了。“为了支持大量的训练工作量，我们建立了一个以线性代数为基础的核心，它与XLA编译器和HBM很好地工作，确保我们有足够的容量和带宽来跟上不断增长的模型。”
当然，这些都不便宜。尽管像谷歌这样的公司考虑到严重的预算限制是令人震惊的，但他们必须一直关注简单性，即使是为了一个相当简单的设计，这种情况也在不断出现。
“矩阵单元很高效，设计很简单，没有不必要的花哨，我们的钱花得值。”
对于芯片创业公司来说，没有像上面这样的圣杯。但权衡永远不会结束，进步也不应该被浪费。
随着设计迭代的继续，他们说他们不想“把我们在TPUv2中努力的一切都毁在TPUv3中。”该团队表示，TPUv3是“中年人”，它利用了我们已经制造的产品。他指出，重复使用熟悉的16纳米技术，只需将现有矩阵单元加倍即可获得最大最大Flops / sec，使时钟从700提高最高可达到940MHz（其中30％来自调谐管道），并使用更高的总线速度将HBM性能提升30％。他们还发现，通过将容量增加一倍来处理更大的型号和批次，可以继续扩展HBM的功能。一线希望是，他们可以使用TPUv2先前版本中的大量内容，将其全部扩展到1024芯片系统中，这是对上一代256极限的巨大改进。
“现在看来似乎有点奇怪，但我们认为256芯片的TPUv2系统是巨大的。ML的贪婪胃口还在继续，所以转向1024芯片系统是至关重要的。换句话说，在第一个重要设计要点列表中添加了重用之前创新的能力。
该团队总结道:“随着深度学习的不断发展，随着我们对工作量和扩展限制的更好理解，在ML模型、软件和硬件之间进一步协同设计的机会继续存在，以改进TPU和其他特定领域的架构。”
*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第2589内容，欢迎关注。
『
半导体第一垂直媒体
』
实时 专业 原创 深度
识别二维码
，回复下方关键词，阅读更多
晶圆｜MCU
｜射频｜封测｜美国｜苹果｜华为｜汽车芯片
回复
投稿
，看《如何成为“半导体行业观察”的一员 》
回复
搜索
，还能轻松找到其他你感兴趣的文章！
