zh/integrations/tensorrt/

[giscus[bot]]

zh/integrations/tensorrt/

探索将Ultralytics YOLOv8 模型导出为TensorRT 格式的强大功能和灵活性，以提高在英伟达™（NVIDIA®）图形处理器上的性能和效率。

https://docs.ultralytics.com/zh/integrations/tensorrt/

[abcc235]

请问在那儿可以看到
results = tensorrt_model('https://ultralytics.com/images/bus.jpg')中
results的数据结构。

[glenn-jocher]

您好！关于results的数据结构，它包含了模型推理的输出，通常包括：

• 检测框 (boxes): 每个检测对象的位置和大小，通常以[x_min, y_min, x_max, y_max]的形式表示。
• 置信度 (confidences): 模型对每个检测对象的置信度。
• 类别ID (classIDs): 每个检测对象的预测类别ID。

当您运行如下代码:

results = tensorrt_model('https://ultralytics.com/images/bus.jpg')

您可以通过results.xyxy来获取检测框，通过results.conf获取置信度，通过results.cls来获取类别ID。例如，打印所有检测框及其对应的置信度和类别ID：

# 获取xyxy格式的检测框（x_min, y_min, x_max, y_max），置信度和类别ID
for box, conf, cls_id in zip(results.xyxy[0], results.conf[0], results.cls[0]):
    print('检测框:', box.cpu().numpy(), '置信度:', conf, '类别ID:', int(cls_id))

希望这能帮助到您！🙂

[abcc235]

貌似应该这么写，直接按照您写的会报错。
、、、python
for box, conf, cls_id in zip(results[0].boxes.xyxy, results[0].boxes.conf, results[0].boxes.cls):
print('检测框:', box.cpu().numpy(), '置信度:', conf, '类别ID:', int(cls_id))
、、、

[glenn-jocher]

@abcc235 您好！看起来您已经正确地修改了访问Results对象属性的方法，确实需要适当调用属性。您的代码片段中提到将results的索引直接解包到循环中，这是非常合适的做法。以下是一个简化的代码示例，确保您可以顺利读取和打印出检测结果：

results = tensorrt_model('https://ultralytics.com/images/bus.jpg')
for box, conf, cls_id in zip(results[0].boxes.xyxy, results[0].boxes.conf, results[0].boxes.cls):
    print('检测框:', box.cpu().numpy(), '置信度:', conf.item(), '类别ID:', cls_id.item())

这里使用.item()确保从Tensor中提取标量值，使输出更加清晰。如果有进一步问题或需求，欢迎随时提问！🙂

[17638759823]

(yolov8) PS E:\ultralytics> yolo export model=./weights/yolov8n.pt format=engine
WARNING TensorRT requires GPU export, automatically assigning device=0
Ultralytics YOLOv8.0.199 Python-3.8.18 torch-2.1.0+cu121 CUDA:0 (NVIDIA GeForce RTX 3050 OEM, 8192MiB)
YOLOv8n summary (fused): 168 layers, 3151904 parameters, 0 gradients, 8.7 GFLOPs

PyTorch: starting from 'weights\yolov8n.pt' with input shape (1, 3, 640, 640) BCHW and output shape(s) (1, 84, 8400) (6.2 MB)

ONNX: starting export with onnx 1.15.0 opset 17...
到这就停止了，这是什么问题

[pderrenger]

看起来您在导出YOLOv8模型为TensorRT格式时遇到了中断。通常，这个问题可能与几个不同因素相关，包括TensorRT的安装问题、GPU兼容性，或者可能是特定版本的PyTorch或ONNX与TensorRT之间的兼容性问题。

首先，请确保您已正确安装所有必需的TensorRT依赖项，以及NVIDIA驱动和CUDA版本与您的TensorRT版本兼容。此外，建议检查您的PyTorch版本是否支持您正在尝试导出的ONNX版本。

此外，试着使用以下导出命令，并确保device被设定为可用的GPU：

yolo export model=./weights/yolov8n.pt format=engine device=0

如果问题仍然存在，请尝试更新到最新版本的PyTorch和TensorRT，或考虑在Ultralytics的GitHub问题跟踪器中查找类似的已知问题或提交新的问题。确保提供您的操作系统、PyTorch、CUDA和TensorRT版本的详细信息，以便社区更好地帮助您解决问题。🤖

有关更多细节和最佳实践，强烈建议阅读我们的TensorRT导出指南，以获取从YOLOv8模型到TensorRT模型的转换步骤、安装要求和示例代码。希望这能帮到您！

[Ares-cz]

when I use official demo to export into TensorRT, it gave me a feedback on the following error:

AttributeError: 'tensorrt_bindings.tensorrt.IBuilderConfig' object has no attribute 'max_workspace_size'
[06/30/2024-14:20:22] [TRT] [I] [MemUsageChange] Init builder kernel library: CPU +2514, GPU +288, now: CPU 14191, GPU 1967 (MiB)
TensorRT: export failure ❌ 2.1s: 'tensorrt_bindings.tensorrt.IBuilderConfig' object has no attribute 'max_workspace_size'

the system is Windows 11, and the CUDA version is 12.1, the TensorRT version is 10.1

[glenn-jocher]

@Ares-cz hello,

Thank you for reaching out and providing details about the issue you're encountering. The error you're seeing, AttributeError: 'tensorrt_bindings.tensorrt.IBuilderConfig' object has no attribute 'max_workspace_size', suggests there might be a compatibility issue with the versions of TensorRT or CUDA you are using.

Here are a few steps to help resolve this issue:

1. Update Packages: Ensure you are using the latest versions of all relevant packages, including ultralytics, tensorrt, and CUDA. You can update ultralytics using:

   pip install --upgrade ultralytics

2. Reproducible Example: If the issue persists, it would be very helpful if you could provide a minimum reproducible example. This will allow us to better understand the context and provide a more accurate solution. You can find guidelines on creating a reproducible example here: Minimum Reproducible Example.

3. Export Code: Ensure your export code follows the recommended format. Here is an example:

   from ultralytics import YOLO
   
   # Load the YOLOv8 model
   model = YOLO("yolov8n.pt")
   
   # Export the model to TensorRT format
   model.export(format="engine")  # creates 'yolov8n.engine'

4. Check TensorRT Documentation: For more detailed instructions and best practices, please refer to the TensorRT Export Guide.

If you continue to experience issues, please share the specific versions of ultralytics, tensorrt, and CUDA you are using, along with any additional error messages. This information will help us diagnose the problem more effectively.

Thank you for your cooperation, and we look forward to helping you resolve this issue! 😊

[pdw2002]

您好，我在使用yolov8.pt权重转换成engine格式进行测试时，发现engine还没有原先的.pt快，这是两者相比较的速度
best-seg.pt
imgsz=2560,device='3,batch=16
Speed: 39.6ms preprocess, 20.7ms inference, 1.9ms postprocess per image at shape (16, 3, 1440, 2560)

best-seg.engine
imgsz=2560,device='3',batch=16
Speed: 62.3ms preprocess, 26.8ms inference, 1.9ms postprocess per image at shape (16, 3, 2560, 2560)

其它参数都是一样的
这是转换engine的代码：
from ultralytics import YOLO

model = YOLO(r"best-seg.pt") # load a custom trained model

Export the model

model.export(
task="segment",
format="engine",
imgsz=(2560,2560),
batch=16,
device='0',
simplify=True,
int8=True,
)

这是推理代码：
from ultralytics import YOLO
if name == 'main':
# 加载模型
model = YOLO(r'best-seg.engine') # YOLOv8n模型
results = model.predict(
# source=r'ultralytics-8.2.69\ultralytics\assets\test_data',
source=r'test.MP4',
save=True, # 保存预测结果
imgsz=2560, # 输入图像的大小，可以是整数或w，h
conf=0.2, # 用于检测的目标置信度阈值（默认为0.25，用于预测，0.001用于验证）
iou=0.5, # 非极大值抑制 (NMS) 的交并比 (IoU) 阈值
batch=16, # 设置多GPU推理时需要指明批次大小，而不能使用自动批量大小
device="3",
show=False, # 如果可能的话，显示结果
project='runs/predict', # 项目名称（可选）
name='exp', # 实验名称，结果保存在'project/name'目录下（可选）
save_txt=True, # 保存结果为 .txt 文件
save_conf=True, # 保存结果和置信度分数
save_crop=True, # 保存裁剪后的图像和结果
show_labels=True, # 在图中显示目标标签
show_conf=True, # 在图中显示目标置信度分数
vid_stride=1, # 视频帧率步长
line_width=1, # 边界框线条粗细（像素）
visualize=False, # 可视化模型特征
augment=False, # 对预测源应用图像增强
agnostic_nms=False, # 类别无关的NMS
retina_masks=False, # 使用高分辨率的分割掩码
show_boxes=True, # 在分割预测中显示边界框
stream=True, # (True)结果以生成器形式返回，逐步处理，适合大批量数据处理
stream_buffer=False, # 缓冲所有流帧（True）或返回最新帧（False）
)

# 处理结果
for result in results:
    if result is not None:
        # 使用result.path属性作为文件名的一部分
        result.save(filename=f"result_{result.path.split('/')[-1]}")
    else:
        print("No detections in this frame")

我的疑惑是也调用了GPU进行加速推理，然后推理结果反而比原来的慢，我不清楚是什么原因，请解答我的疑惑，谢谢。

[pdw2002]

补充一下，GPU是RTX-2080-Ti

[glenn-jocher]

@pdw2002 您好，感谢您的反馈。

请确保您使用的是最新版本的Ultralytics库，并尝试在导出时不使用int8=True选项，因为INT8量化可能会影响推理速度。此外，您可以尝试调整workspace参数以优化性能。如果问题仍然存在，请访问我们的TensorRT文档获取更多信息和指导。

希望这能帮助您解决问题。谢谢！

[NidhoggBo]

AttributeError: 'tensorrt_bindings.tensorrt.ICudaEngine' object has no attribute 'num_bindings'

Load the exported TensorRT model

tensorrt_model = YOLO("yolov8n.engine")

Run inference

results = tensorrt_model("https://ultralytics.com/images/bus.jpg")

[glenn-jocher]

@NidhoggBo the error 'ICudaEngine' object has no attribute 'num_bindings' typically occurs due to an incompatibility between the TensorRT version used during export and the runtime environment. Please ensure that your TensorRT version is compatible with the exported engine. Additionally, verify that the model was exported correctly using the model.export(format="engine") command, as shown in the Ultralytics TensorRT guide. Let us know if further assistance is needed.

[Ameridru]

Ultralytics是否支持对RT-DETR的TensorRT模型进行export以及predict？