凭借Arm CPU与自家GPU，Nvidia打造医疗AI专属边缘装置

凭借着本身发展的Arm处理器与GPU运算技术，Nvidia打造出用于边缘AI与机器人的单板电脑Jetson系列，支撑自动驾驶车辆AI应用的Drive AGX系列，以及用于医疗AI领域的Clara AGX系列，也是本次所要介绍的主要产品。

开创Nvidia医疗AI边缘计算平台应用

以Jetson系列而言，最新的平台是2018年登场的运算模块Jetson AGX Xavier、开发板Jetson AGX Xavier Developer Kit，以及2019年11月发布的运算模组Jetson Xavier NX。而另一个Drive AGX系列，则是2016年9月发表、2018年推出的系统单芯片Drive Xavier（结合内含8颗Arm架构CPU核心的Carmel，以及Volta架构GPU），以及2018年10月推出的开发板Drive AGX Developer Kit。

至于Clara AGX的发展，则是2018年9月，Nvidia正式推出医疗AI平台Clara之际，就表示他们将结合软体与硬件，将AI技术引入次世代的医疗仪器，以便提供疾病的早期侦测、诊断、治疗，而这套平台的核心正是一套革新的运算架构Clara AGX，当中将包含Nvidia发展的Xavier运算模组、Turing架构GPU，以及Clara软件开发套件，协助开发人员建立由AI助力的应用程序，以处理既有系统产生的海量数据，改变传统必须为此横跨FPGA、CPU、GPU等三种运算架构的处理方式。

（编按：Nvidia表示，Xavier是Tegra 芯片代号;Drive是Xavier芯片针对自驾车推出的产品。

Drive Xavier通常是指自驾车产品线中使用 Xavier芯片的世代，像是：Drive AGX Xavier、Drive AGX Pegasus，但Drive Xavier不等于AGX Xavier。

至于AGX是指高效能的芯片，Xavier之后的芯片才使用AGX;以嵌入式平台Jetson 为例，下一代使用Orin芯片有两个产品，包含Jetson Orin NX与Jetson AGX Orin）

当时，Nvidia对于Clara AGX相当简略，仅提到他们将提供单一、基于GPU的架构，透过他们的Tensor Core核心，提供最快速的AI推论能力，并能经由CUDA这个广泛采用的架构，以及RTX GPU，来进行加速处理，并能适用于不同医疗仪器，可涵盖最基本的入门级设备，也能支持运算要求较高的3D影像处理仪器。

在2019年11月底北美放射学会（RSNA）举行的年度大会上，Nvidia宣布将开放Clara AGX软件开发套件的初期试用计划，里面会包含两种AI推论的热门应用：实时超音波与内视镜检查的边缘运算处理，提供参考程序，同时也描绘Clara AGX的具体应用场景：以更高的数据运算速度来处理影像与视频，将AI推论与3D图解引进医疗照护现场。

就硬件架构而言，Nvidia表示，Clara AGX将基于他们发展的Xavier系统单芯片，也是Nvidia用于自驾车的同一款处理器，耗电量可低到10瓦，足以嵌入医疗仪器内部或执行在小型邻接系统。

关于合作厂商的部分，Nvidia也宣布，推出首款便携式就地照护核磁共振造影系统（point-of-care MRI）的Hyperfine公司，将采用Clara AGX，希望能够推动具有AI功能的医疗物联网。

Nvidia于2020年下半公布更详细的Clara AGX软硬件搭配内容

到了2020年10月的GTC 2020秋季大会期间，Nvidia针对Clara AGX提出更具体的产品特色规划，他们预告将推出具备AI加速能力与超高速网络界面的桌上型医疗设备，可支持边缘端的AI推论处理需求，当中将结合绘图加速卡RTX 6000、Arm架构的Xavier系统单芯片，以及扩展的I/O接口，如100 GbE网络端口、PCIe接口、HDMI端口;而在系统上层，这套系统将执行软件开发套件Clara AGX SDK，里面采用名为EGX的技术堆叠架构，由底层往上，分别有CUDA与Linux驱动程式套件、Jetpack SDK、DeepStream SDK，以及Clara Docker模板、DeepStream模板、模型范例。

单就Jetpack SDK这一层而言，就包含许多软件组件：CUDA-X、深度学习（TensorRT、CuDNN）、计算机视觉（VPI、VisionWorks、OpenCV）、加速运算（cuBLAS、cuFFT）、多媒体（相机API）。

基于以上述软硬件形成医疗AI整合开发套件，Nvidia命名为Clara AGX Development Kit。

下一个相关消息的发布，是在2020年11月底北美放射学会举行的年度大会，Nvidia揭露Clara AGX Development Kit这款开发套件更多细部信息，像是：基于Jetson AGX Xavier建构而成，可运用Jetson系列单板电脑支持的各种程序库与工具;可促成AI自主型机器的发展，系统本身只需10瓦电力即可执行，运算效能可达到 32 TOPS;JetPack SDK可协助组建AI应用程序，DeepStream与另一套软件开发套件Rivermax，则可用于构建串流数据处理管线;采用容器化的执行时期组件，以便支持EGX软件技术堆栈、特定应用案例的参考应用程式建模等部署需求。

而因为这个开放套件的硬件包含RTX 6000 GPU，在INT8整数运算上，可达到200 TOPS以上的效能，进而同时执行多个推论管线，支持最复杂、运算需求密集的AI应用程序。

除了运算方面的配置，网络接口规格，也是Clara AGX Development Kit当时补充的重要特色之一。 Nvidia表示，当中将整合ConnectX-6网络卡（此产品是他们在2020年完成并购Mellanox而得），可支持GPU Direct / RDMA Streaming的直通技术，能让这款单板电脑以完整的网络连线速度，运用RDMA来直接访问RTX 6000 GPU的内存，相对地，可承接（卸载）网络堆叠的负担，促使传感器的数据封包在进行持续传输的过程中，可在最不影响系统中央处理器使用率的状态下，达到最大的吞吐量与效能。

提供2个PCIe 4.0 x8的I/O接口，也是此款开发套件难得之处，可分别连接ConnectX-6网络卡，以及Jetson AGX Xavier模块。第1个插槽除了连接GPU加速卡，有些用户将此端口用于自定的影像撷取卡，可接收4K60画质、12G- SDI串行数字接口的讯号输入;另1个插槽也能用于连外部主机或自行设计的适配卡，促成专属的画面输出。

Clara AGX Developer Kit于2021年正式推出

在今年举行的GTC 2021春季大会期间，Nvidia宣布Clara AGX Developer Kit上市的消息，希望能通过通用平台的提供，提升与加速软件定义医疗仪器的发展，达到高带宽讯号处理、加速运算重建、AI处理、高级3D图解呈现，促成显微镜、超声波、内视镜等医疗设备的进化，并且可以配备多种实时AI应用，支持临床诊断的各种作业需求，涵盖自动化病患扫描设定，以及改善医疗影像质量，而能分析数据流，还能针对医疗照护业者提供关键的决策辅助分析信息。

就配备而言，Nvidia重申Clara AGX Developer Kit的组成组件，包含Jetson AGX Xavier运算模块、RTX 6000 GPU、ConnectX-6 SmartNIC，以及软件开发套件，能让开发者搭配实时运作的硬件设备系统软件、用于I/O与视频处理管线传输（video pipelining）的程序库、用于数据串流的Rivermax软件开发套件、各种参考应用程序，更易于建立适合的AI模型，以便用于超音波、内视镜这类医疗仪器的技术发展。

而所谓的软件定义，是指Clara AGX所采用的EGX技术堆叠，皆是基于容器化的软件与微服务而成，以其中的Fleet Command这套云端服务为例，可协助用户在医院环境安全部署多种设备，将每日都会用到的传感器，转换为软件定义型的智能传感器，可定期更新AI算法，获得最新改良技术，同时也能持续连接研究系统，提供每日不间断的医学现场实务信息。

在这次发布消息里面，Nvidia公布已经或即将采用Clara AGX的案例。

首先，是医疗影像系统厂商Carestream Health，他们的智能X光室，将配备AI功能，强化与加速影像处理工作流程，提升检验效率;其次，则是医疗科技初创公司Activ Surgical推出的新型硬件影像处理模块ActivSight，将会运用Clara AGX Developer Kit强化手术分析与资料处理，也能以此减少未来产品的整体开发时间。

發展專業視聽設備的AJA Video Systems，也結合Clara AGX Developer Kit，支援內視鏡與外科手術應用；主打AI的最小侵入式手術照護解決方案廠商Kaliber Labs，運用Clara AGX部署手術軟體套件，可透過具備前後脈絡與個人化特色的手術工具包，協助醫師執行最高階的手術、降低手術變化性；電腦視覺設備廠商KAYA Instruments，也採用這項開發套件來建立與提供醫療設備的即時AI功能，並且保護大量分散式設備的部署，以及提供遠端管理的功能。

改善醫療影像效率與病患體驗的解決方案廠商Subtle Medical公司，他們用於調查階段意圖探索的AI應用軟體SubtleIR，將會運用Clara AGX Developer Kit，改善介入醫療影像處理程序的執行速度與品質，找出可推論性、效率、即時部署的潛力。.

AI手術平臺新創廠商Theator，正在開發GPU加速的AI系統，可用於作業現場畫面的標註，他們也宣布將採用Clara AGX Developer Kit，支援未來發展的解決方案。

超声波研究系统厂商us4us宣布与Nvidia合作，将在低价便携式超声波研究系统us4R-lite当中，整合Clara AGX Developer Kit，支持实时、数字的波束成型技术（beamforming），可通过运算密集型的处理方式撷取高质量的超声波影像，而这样的软件定义系统运用了嵌入式GPU模块，能让开发与部署自行开发的AI模型，用于超声波扫描的图像处理。

到了11月举行的GTC秋季大会，Nvidia持续宣告Clara AGX Developer Kit全面上市，当中搭配了AGX Xavier系统单芯片、RTX 6000 GPU，以及随着ConnectX-6网络芯片而来的100 GbE网络界面，大部分均如前所述，但Nvidia在此将系统单芯片Xavier改称为AGX Xavier，这部分主要是指Jetson AGX Xavier系列运算模组，似乎有意与Drive Xavier细分。

有了Clara AGX Developer Kit，开发人员可以发展外科手术型的视频应用，像是AI强化的内视镜检查，或是其他最小侵入式医疗作业，能因应视频处理路径每个环节的低延迟需求。

Nvidia下一代医疗AI运算平台Clara Holoscan蓄势待发

GTC 2021秋季大会期间，Nvidia也预告将针对医疗照护产业，推出新的运算平台Clara Holoscan，届时会搭配Nvidia新发展的次世代系统单芯片AGX Orin，以因应医疗设备从各个层面处理串流数据的规模扩展，以及支持软件定义基础架构执行的需求。

Clara Holoscan预计要加速处理的阶段，包含：系统I/O与网络I/O、物理处理（GPUDirect RDMA）、图片处理（CUDA-X、Triton Inference Server）、数据处理（cuCIM）、渲染（Clara Render Server、Omniverse、CloudXR）。

而在延展性的部分，Clara Holoscan可将医疗设备的处理延伸至Nvidia认证的边缘服务器，以及位于数据中心或云端服务的DGX整合应用设备，能让开发人员大幅增减医疗设备所需的运算与I/O容量，根据延迟度、成本、空间、耗电量、网络带宽的需求来进行资源调度的平衡。

在AGX Orin与Clara Holoscan的搭配之下，开发者可组建软件定义医疗设备，以便在边缘端执行低延迟的串流应用程式，而这样的运算能力，可因应机器人辅助手术、内视镜、诊断影像系统等设备的需求，能处理物理特性、影像处理、图解，以及提供医师实时AI决策支持;就软件层面而言，开发者可设置AI微服务，使其能在设备上执行低延迟的流应用程式，若遇到更复杂的工作任务，可转交到数据中心来处理。

值得注意的是，关于Clara Holoscan这套医疗设备AI运算平台的应用方式，Nvidia并不打算继续局限在嵌入式仪器的范围，还希望能够在边缘服务器、数据中心、云端服务，以及混合云环境当中执行，甚至可支持软件即服务（SaaS）的维运模式，不仅能扮演串流运算平台的角色，支持讯号、数据、AI推论、图像呈现工作流程的高吞吐处理需求，形成软件定义型医疗装置，也能针对大量设备进行远程更新、调度指挥、监控等维运作业。

在运作架构上，Clara Holoscan可以结合多个硬件系统，桥接智能医疗仪器与云端服务，实现低延迟的状态感测与网络联机，搭配针对数据处理与人工智能等应用优化的程序库，以及核心微服务，横跨边缘设备到云端服务来执行串流、影像处理等应用程序。

就应用开发而言，Clara Holoscan本身也是一套完整的加速计算框架，用户可运用优化容器、无代码（no-code）型态的设计工具，以及示例程序，发展实时执行的多模态应用系统。

从硬件运算配置而言，前面我们提到Clara Holoscan将会采用系统单芯片新一代AGX Orin，事实上，Nvidia这几年来陆续释出Xavier后继平台的消息，早已预告Drive AGX、Jetson AGX、Clara AGX即将进入新世代。

例如，2019年底发布Drive AGX Orin自驾车用平台，采用新一代系统单芯片Orin，里面整合Arm处理器核心Hercules与次世代架构GPU，可提供200 TOPS运算效能;2021年11月，预告2022年上半将推出Jetson AGX Orin运算模组。

若依照这样的规划，Clara AGX平台自然是采用新一代的系统单芯片，也就是AGX Orin，而平台届时应该称为Clara AGX Orin，不料在GTC 2021秋季大会之后，突然冒出Clara Holoscan成为后继者，显然这里的平台命名将有别于Drive AGX与Jetson AGX。

关于Clara Holoscan与Clara AGX的关系，Nvidia向我们透露，当Orin模块于2022年推出之后，目前的Clara AGX Development Kit，将会成为Clara Holoscan Developer Kit（2022年下半推出），当中将包含12个Arm核心的系统单芯片Orin、Ampere架构的RTX A6000 GPU，以及伴随ConnectX-7而来的2个100GbE网络接口。

至于软件开发套件的部分，Nvidia表示，Clara AGX SDK从3.2版起，将改名为Clara Holoscan SDK 0.1版，已于11月中发布。在2022年推出Clara Holoscan Developer Kit之前，用户可以在Clara AGX Development Kit的设备上，执行Clara Holoscan SDK。

产品信息

Nvidia

Clara AGX Developer Kit ●原厂
：Nvidia ●
建议售价：厂商未提供 ●包含元件：单板电脑Jetson AGX Xavier、RTX 6000独立GPU加速卡、SmartNIC为ConnectX-6 Dx、250GB M.2外形SATA SSD

●中央处理器：Jetson AGX Xavier内建8核心Nvidia Carmel（Arm v8.2）

●绘图处理器：Jetson AGX Xavier采用Nvidia Volta架构（512个CUDA核心、64个Tensor Core核心）;RTX 6000采用Nvidia Turing架构（4608个CUDA核心、 576个Tensor Core核心）、24 GB GDDR6内存
●系统内存：Jetson AGX Xavier内建32 GB LPDDR4x

●存储空间：Jetson AGX Xavier内建32GB eMMC 5.1，250GB SATA SSD

●网络接口：Jetson AGX Xavier内建GbE端口、ConnectX-6提供100

GbE端口 ●运算效能：RTX 6000：FP32为16.3 TFLOPS，INT8
为206.1 TOPS ●显示接口：RTX 6000内建4个DisplayPort

1.4埠、USB-C端口; Jetson AGX Xavier内建2个端口，可支持HDMI 2.0 / eDP 1.4/

DP 1.4 ●连接接口：系统内建2个PCIe（x8），1个源自Jetson AGX Xavier，1个是RDMA 连接RTX 6000，Jetson AGX Xavier内建1个PCIe（x8）、2个USB 3.1 Gen2、1个USB 2.0
●电源供应器：750瓦