Cloudflare将在300个数据中的边缘部署Nvidia GPU 以进行生成式 AI 推理

Cloudflare公司计划在其全球边缘网络中部署 Nvidia GPU。该平台针对人工智能应用，特别是像大语言模型这样的生成式人工智能模型。Nvidia GPU的型号并未透露。“网络上的人工智能推理将成为许多企业的最佳选择：私人数据靠近用户实际所在的任何地方，同时由于就在附近而运行起来仍然极具成本效益，”Matthew Prince，首席执行官兼联合创始人云焰说道。“借助 Nvidia 在我们全球网络上最先进的 GPU 技术，我们正在使人工智能推理变得在全球范围内变得可用且经济实惠，这在以前对许多客户来说是遥不可及的。”

Cloudflare还将部署Nvidia以太网交换机，并使用Nvidia的全栈推理软件，包括Nvidia TensorRT-LLM和Nvidia Triton Inference服务器。该公司表示，到 2023 年底，GPU 将部署在 100 多个城市，到 2024 年底，“Cloudflare 网络几乎覆盖所有地方”。它在全球 300 多个城市的数据中心运营。Nvidia 超大规模和 HPC 副总裁 Ian Buck 表示：“Nvidia 的推理平台对于推动下一波生成式 AI 应用程序至关重要。”“借助 Cloudflare 上提供的 Nvidia GPU 和 Nvidia AI 软件，企业将能够创造响应迅速的新客户体验并推动各个行业的创新。”

发布时，AI Edge网络将不支持客户提供的模型，仅支持Meta的Llama 2 7B和M2m100-1.2、OpenAI的Whisper、Hugging Face的Distilbert-sst-2-int8、微软的Resnet-50和Baai的bge-base -en-v1.5。Cloudflare 计划未来在 Hugging Face 的帮助下添加更多模型。