jetson orin 内存显存共享64G安装嵌入模型

最新推荐文章于 2026-07-07 10:27:12 发布
原创 最新推荐文章于 2026-07-07 10:27:12 发布 · 49 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
收录于
人工智能

当前文章被收录于：

人工智能
5 篇文章 0 人学习
订阅专栏 查看详情

下载嵌入模型

modelscope download --model Qwen/Qwen3-Embedding-0.6B --local_dir /home/cyber/models/Qwen/Qwen3-embedding-0.6B

使用vllm 启动模型，注意大坑 --task embed \ 这个千万别加，加了就起不来了

sudo docker run -it \
  --runtime=nvidia \
  --network host \
  --shm-size=6.4g \
  --restart unless-stopped \
  -v /home/cyber/models:/models \
  ghcr.nju.edu.cn/nvidia-ai-iot/vllm:latest-jetson-orin \
  vllm serve /models/Qwen/Qwen3-embedding-0.6B \
  --port 8091 \
  --gpu-memory-utilization 0.1 \
  --enforce-eager

因为嵌入模型很小，这个几个参数要注意； --gpu-memory-utilization 0.1，–shm-size=6.4g

标签
#jetson orin #大模型
Boltz-2在Jetson Orin边缘设备上的TensorRT部署实战
weixin_33834075的博客
06-21 299
分子结合力预测（binding affinity prediction）作为AI for Science的核心任务，其价值不仅取决于模型精度，更依赖于能否在资源受限的边缘硬件上稳定推理。本文从基础概念切入，解析基于图神经网络与排序学习的ΔG预测原理，强调其技术价值在于统计鲁棒性而非单点绝对精度；进而聚焦aarch64嵌入式场景下的工程落地瓶颈——包括ONNX opset兼容性、TensorRT执行提供器缺失、FP16数值下溢、动态图尺寸显存分配等关键挑战；最终落脚于Jetson Orin平台的真实部署路径，
Janus-Pro-7B部署案例：边缘服务器（Jetson AGX Orin）轻量化适配尝试
weixin_42471823的博客
03-04 397
本文介绍了如何在星图GPU平台上自动化部署Janus-Pro-7B镜像，实现多模态AI模型的便捷应用。该平台简化了部署流程，用户可快速搭建环境，将模型应用于图片内容理解与问答、文生图生成等场景，为边缘计算和离线AI应用提供高效解决方案。
vLLM能否用于边缘计算？Jetson设备部署尝试
weixin_34620658的博客
11-24 926
本文探讨了vLLM在NVIDIA Jetson设备上实现大模型边缘推理的可行性，重点分析了PagedAttention与Continuous Batching技术如何提升显存效率和吞吐性能，并结合量化模型、Docker镜像部署等方案解决显存、编译和接口兼容问题，验证了7B级模型在边缘设备上的生产级应用潜力。
Hunyuan-MT-7B部署案例：边缘计算盒子（Jetson AGX Orin）部署轻量FP8版本
weixin_35757191的博客
02-02 170
本文介绍了如何在星图GPU平台上自动化部署Hunyuan-MT-7B镜像，实现低功耗边缘场景下的多语言实时翻译。该FP8量化模型专为Jetson AGX Orin等嵌入式设备优化，支持藏、维、蒙等33种语言双向互译，典型应用于高原铁路巡检报告双语生成、边境口岸多语问询响应等离线高可靠性场景。
亚洲美女-造相Z-Turbo多平台适配：Jetson Orin Nano边缘设备部署可行性验证
weixin_42504649的博客
02-06 427
本文介绍了如何在星图GPU平台上自动化部署亚洲美女-造相Z-Turbo镜像，实现本地化、低功耗的AI人像生成功能。该镜像专为亚洲女性形象优化，支持中文提示词输入，适用于数字艺术教育、文创设计及嵌入式终端等场景，全程离线运行，保障数据隐私与使用自主性。
Anything to RealCharacters 2.5D转真人引擎边缘部署探索：Jetson AGX Orin轻量化适配可行性分析
weixin_42372837的博客
02-08 297
本文介绍了如何在星图GPU平台上自动化部署📸 Anything to RealCharacters 2.5D转真人引擎镜像，实现二次元/2.5D角色图像到写实人像的高质量转换。用户可一键完成环境配置与推理服务启动，典型应用于数字人前台、智能终端互动及隐私敏感场景下的本地化形象生成。
Jetson平台PyTorch环境部署全攻略：从CUDA验证到避坑指南
tang_zongyun的博客
06-16 411
在边缘计算和嵌入式AI开发中，CUDA作为NVIDIA GPU的并行计算平台，是实现深度学习模型加速的核心技术。其原理在于通过统一计算架构，利用GPU的数千个核心进行大规模并行处理，从而显著提升矩阵运算和神经网络推理的速度。这一技术价值在于将原本只能在云端服务器运行的复杂AI模型，部署到Jetson这类资源受限的边缘设备上，实现低延迟、高能效的实时智能应用。常见的应用场景包括机器人视觉导航、无人机自主避障、智能安防监控等。本文聚焦于在Jetson开发板上部署PyTorch框架时，如何解决因ARM架构与x86
MusePublic Art Studio快速部署：边缘设备（Jetson AGX）轻量化适配可行性验证
weixin_42601702的博客
02-15 259
本文介绍了如何在星图GPU平台上自动化部署🎨 MusePublic Art Studio镜像，实现边缘设备（Jetson AGX）上的轻量化AI图像生成。通过模型量化、VAE替换与Triton加速等优化，该镜像可在低功耗嵌入式设备上稳定输出1024×1024高清艺术图像，适用于教育现场演示、展览互动创作等离线AI艺术生产场景。
从零开始在NVIDIA Orin上搭建PyTorch开发环境：JetPack 5.1.2下的完整配置流程
weixin_29043895的博客
03-19 176
本文详细介绍了在NVIDIA Orin平台上使用JetPack 5.1.2搭建PyTorch开发环境的完整流程。从系统配置、PyTorch安装优化到Torchvision的兼容性解决方案，提供了逐步指导和性能调优技巧，帮助开发者快速构建高效的深度学习开发环境。特别针对Orin平台的ARM架构优化和常见问题进行了深入解析。
实测VibeThinker-1.5B在Jetson上的运行表现
weixin_28988985的博客
02-03 112
本文介绍了如何在星图GPU平台上自动化部署VibeThinker-1.5B-WEBUI镜像，充分发挥其在资源受限边缘设备上的高效推理能力。该镜像专为Jetson等嵌入式平台优化，支持数学推理与编程任务的本地化、离线化执行，典型应用于中学信息学教学、NOIP真题解析等教育场景，实现零数据出域、低延迟、可验证的AI辅助学习。
智能硬件开发者参考：嵌入式ASR模块的技术验证
weixin_42576410的博客
01-23 505
本文介绍了如何在星图GPU平台上自动化部署Speech Seaco Paraformer ASR阿里中文语音识别模型 构建by科哥镜像，实现嵌入式设备本地化语音转文本功能。该镜像支持Jetson、RK3588等边缘硬件，可快速集成至智能硬件产品中，典型应用于工业语音指令控制、会议实时转录及免唤醒词自然对话交互等场景。
JetPack 7.2深度解析：AGX Orin性能跃迁的底层逻辑
weixin_30781775的博客
07-07 797
JetPack 是 NVIDIA 为 Jetson 系列边缘 AI 设备提供的全栈 SDK，涵盖驱动、CUDA、TensorRT、Linux 内核及 Yocto 构建系统。其核心价值在于通过软硬协同优化释放硬件潜能，而非依赖芯片升级。原理上，它聚焦于削减推理链路冗余——如 CUDA Graph 固化降低 kernel 启动开销、DLA/GPU 资源隔离提升并行效率、ARM 页表预取减少 CPU 停顿。技术价值体现在真实场景可复现的 1.3 倍性能提升、功耗与温度显著下降，以及对硬实时（PREEMPT_RT）
NVLM：面向物理世界的嵌入式多模态推理引擎
weixin_34055787的博客
06-24 383
多模态大模型正从云端服务向边缘端实时推理演进，其核心挑战已从模型参数规模转向数据搬运效率与硬件协同深度。NVLM作为首款GPU原生、显存内闭环的多模态推理架构，通过Unified Token Space统一视觉与文本表征，并依托Hardware-First Quantization和Real-Time I/O Pipeline，在B200及Jetson Orin等平台实现毫秒级端到端延迟。它不追求通用对话能力，而是聚焦工业质检、手术机器人、自动驾驶等对确定性延迟、低功耗与强硬件耦合有硬约束的落地场景，代表了
YOLOE在边缘设备运行实测，资源占用低
weixin_33557333的博客
01-25 661
本文介绍了如何在星图GPU平台上自动化部署YOLOE 官版镜像，实现边缘设备上的开放词汇目标检测。该镜像专为资源受限场景优化，支持文本、视觉及无提示三种模式，在智能巡检机器人中可实时识别‘未戴安全帽’‘消防通道被占’等动态目标，显著降低显存与CPU占用。
Gemma 2多模态工程化改造：ViT-H/14+TensorRT-LLM边缘部署实战
weixin_30394981的博客
07-05 473
多模态大模型落地的核心瓶颈不在算法先进性，而在视觉编码、跨模态对齐与语言生成的协同可部署性。本文围绕Gemma 2架构展开深度工程重构，聚焦ViT-H/14视觉主干的硬件适配、Qwen-VL-style adapter的轻量化设计，以及TensorRT-LLM对异构张量（图像token+文本token）的编译优化。通过模块化解耦、动态视觉token管理、INT4量化与CUDA算子融合等关键技术，实现Jetson Orin AGX上427ms端到端延迟的稳定推理。适用于车载OCR、工业质检、零售货架分析等低功
YOLOv12官版镜像适合边缘设备吗？Nano模型实测告诉你
weixin_34598113的博客
01-25 178
本文介绍了如何在星图GPU平台上自动化部署YOLOv12 官版镜像，高效支撑边缘端实时目标检测任务。该镜像经Jetson Orin Nano实测验证，可在资源受限设备上实现3.21ms低延迟推理，适用于工业质检、智能安防及移动机器人等典型边缘AI场景。
LLM推理优化实战：从硬件执行路径到端到端部署
weixin_33768481的博客
06-21 314
大语言模型（LLM）推理优化本质上是面向异构硬件的系统工程，其核心在于理解CPU、PCIe、GPU显存与Tensor Core构成的物理执行路径。传统‘调参式’优化常因忽略硬件约束而失效——例如CUDA Graph在Jetson Orin上可降首token延迟31%，但需匹配LPDDR5 burst length；INT8量化在Aarch64平台提升吞吐19%，而AWQ因缺乏原生INT4支持反致性能下降。技术价值体现在突破显存墙、IO墙与调度墙，支撑RAG、边缘AI、低延迟API等关键场景。本文聚焦真实硬件
边缘端深度学习推理实战：从模型瘦身到硬件握手
weixin_30718391的博客
06-04 378
边缘AI推理是将深度学习模型部署至靠近数据源头的终端设备（如工业PLC、无人机飞控、智能门锁MCU）并完成实时决策的关键技术。其核心原理在于绕过云端延迟与网络依赖，通过模型量化、结构精简、TensorRT加速及硬件协同优化，在有限算力、功耗与内存约束下实现确定性低延迟响应。技术价值体现在产线质检毫秒级反馈、离线场景持续可用、系统鲁棒性提升等工程刚需。典型应用场景覆盖工业视觉、农业巡检、医疗机器人及智能仓储等对实时性、隐私性与可靠性要求严苛的领域。本文聚焦deep learning inference与edg
vLLM显存优化全指南：从PagedAttention原理到四层实战调优
weixin_34341117的博客
06-17 342
vLLM作为主流大模型推理引擎，其显存占用显著高于传统Transformers框架，核心源于PagedAttention机制对KV缓存的预分配设计。该机制将显存视为可编程高速缓存池，通过块化管理实现低延迟高吞吐，但带来显存‘翻倍’现象。理解block-size、max-num-seqs与max-model-len等参数对预分配量的定量影响，是优化前提；结合AWQ量化加载、chunked prefill、enforce-eager等关键配置，可在RTX 4090、A100等平台实现数GB级显存节省。本文聚焦v
【CPO三维路径规划】豪猪算法CPO多无人机协同集群避障路径规划（目标函数：最低成本：路径、高度、威胁、转角）研究（Matlab代码实现）
最新发布
07-25
内容概要：本文系统研究了基于豪猪优化算法（CPO）的多无人机协同集群在三维空间中的避障路径规划问题，聚焦于实现以最低成本为目标的航迹优化，综合考虑路径长度、飞行高度、威胁规避及转弯角度等多个关键因素。通过构建精细化的三维环境模型与多无人机协同机制，采用Matlab平台实现CPO算法的仿真与验证，充分展示了该算法在复杂动态障碍环境下的高效搜索能力与全局优化性能。研究不仅涵盖了路径规划的数学建模与目标函数设计，还深入探讨了算法的收敛特性与鲁棒性，为智能群体系统在实际场景中的应用提供了理论依据与技术支撑。; 适合人群：具备一定编程基础和优化算法背景，从事无人机系统控制、智能路径规划、群体协同、人工智能与自动化等相关领域的科研人员、高校研究生及工程技术人员。; 使用场景及目标：①应用于多无人机协同执行侦察、灾害监测、应急救援、区域巡检等复杂任务中的自主路径规划；②为智能优化算法在三维动态环境下的路径决策问题提供可复现的技术范例；③支持研究人员对CPO算法与其他主流群智能算法（如PSO、GWO、WOA等）进行性能对比与改进研究，推动路径规划技术的发展。; 阅读建议：建议结合提供的Matlab代码进行实践操作，重点理解目标函数的多维度建模方式与CPO算法的迭代优化流程，可通过调整环境参数与约束条件进行仿真实验，对比不同算法在相同场景下的路径质量与收敛速度，从而深入掌握其优势与适用边界。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不对法

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值