模型详细信息：DPT-Hybrid

Dense Prediction Transformer（DPT）模型是在140万张图像上进行单眼深度估计训练的。它由Ranftl等人在2021年的论文 Vision Transformers for Dense Prediction 中提出，并于 this repository 首次发布。DPT使用视觉Transformer（ViT）作为主干网络，然后在其上添加了颈部和头部用于单眼深度估计。

本存储库托管了论文中所述的“混合”版本的模型。DPT-Hybrid与DPT有所不同，它使用 ViT-hybrid 作为主干网络，并从主干网络中提取了一些激活。

模型卡片由Hugging Face团队和Intel共同撰写。

使用方法

这是如何在图像上进行零样本深度估计的模型使用方法：

from PIL import Image
import numpy as np
import requests
import torch

from transformers import DPTForDepthEstimation, DPTFeatureExtractor

model = DPTForDepthEstimation.from_pretrained("Intel/dpt-hybrid-midas", low_cpu_mem_usage=True)
feature_extractor = DPTFeatureExtractor.from_pretrained("Intel/dpt-hybrid-midas")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

# prepare image for the model
inputs = feature_extractor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    predicted_depth = outputs.predicted_depth

# interpolate to original size
prediction = torch.nn.functional.interpolate(
    predicted_depth.unsqueeze(1),
    size=image.size[::-1],
    mode="bicubic",
    align_corners=False,
)

# visualize the prediction
output = prediction.squeeze().cpu().numpy()
formatted = (output * 255 / np.max(output)).astype("uint8")
depth = Image.fromarray(formatted)
depth.show()

更多的代码示例，请参考 documentation 。

定量分析

表1. 在单目深度估计上与现有技术的比较。我们根据[30]中定义的协议，评估了零样本跨数据集的迁移。相对性能是相对于原始MiDaS模型[30]计算的。所有指标越低越好。（ Ranftl et al., 2021 ）

BibTeX条目和引用信息

@article{DBLP:journals/corr/abs-2103-13413,
  author    = {Ren{\'{e}} Ranftl and
               Alexey Bochkovskiy and
               Vladlen Koltun},
  title     = {Vision Transformers for Dense Prediction},
  journal   = {CoRR},
  volume    = {abs/2103.13413},
  year      = {2021},
  url       = {https://arxiv.org/abs/2103.13413},
  eprinttype = {arXiv},
  eprint    = {2103.13413},
  timestamp = {Wed, 07 Apr 2021 15:31:46 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2103-13413.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}