关键词:Triton,TensorRT,Bert 前言 本篇介绍以Triton作为推理服务器,TensorRT作为推理后端,部署句嵌入向量模型m...
关键词:LangChain,文本分割器 前言 文本分割器是LangChain中一个重要组建,海量的文档需要基于文本分割策略进行处理从而与大模型的...
关键词:Triton,ChatGLM 前言 在之前的篇章《AI模型部署:一文搞定Triton Inference Server的常用基础配置和功...
关键词:Triton 前言 在前文《AI模型部署:一文搞定Triton Inference Server的常用基础配置和功能特性》中介绍了Tri...
关键词:Triton 前言 Triton Inference Server是由NVIDIA提供的一个开源模型推理框架,在前文《AI模型部署:Tr...
关键词:Triton 前言 Triton Inference Server是由NVIDIA提供的一个开源推理框架,旨在为AI算法模型提供高效的部...
关键词:OpenCompass,LLM,大模型测评 前言 OpenCompass,也称为“司南”,是由上海人工智能实验室发布的一个开源的大模型评...
关键词:大模型测评,C-Eval 前言 C-Eval是目前权威的中文AI大模型评测数据集之一,用于考察大模型的知识和推理能力,本篇对C-Eval...
关键词:大语言模型,LLM 前言 随着越来越多的大语言模型被发布和使用,如何对大模型的能力进行评测(LLM Evaluation)成为一个新的课...