
CLIP-as-service简介
CLIP-as-service是一个基于CLIP(Contrastive Language-Image Pre-Training)模型的高效可扩展服务,用于生成图像和文本的嵌入向量表示。它具有以下主要特点:
-
⚡ 快速:使用TensorRT、ONNX运行时和PyTorch无JIT方式提供CLIP模型服务,单GPU可达800QPS。采用非阻塞双工流式处理请求和响应,适用于大数据和长时间运行的任务。
-
🫐 弹性:可在单个GPU上水平扩展多个CLIP模型,自动负载均衡。
-
🐥 易用:客户端和服务器端设计简约,无学习成本。为图像和句子嵌入提供直观一致的API。
-
👒 现代化:支持异步客户端。可轻松在gRPC、HTTP、WebSocket协议之间切换,支持TLS和压缩。
-
🍱 集成:与Jina和DocArray等神经搜索生态系统无缝集成。可快速构建跨模态和多模态解决方案。
CLIP-as-service采用客户端-服务器架构设计,包含clip-server和clip-client两个独立的Python包。服务器端负责加载CLIP模型并提供推理服务,客户端负责发送请求和接收结果。这种设计使得系统具有很好的灵活性和可扩展性。
2万+




被折叠的 条评论
为什么被折叠?



