Unterschied in der Parameteranzahl zwischen UNETR-Papier und MONAI-Implementierung ⇐ Python

[Anonymous]

Ich vergleiche viele Deep-Learning-Modelle, darunter UNETR, im BTCV-Datensatz miteinander und habe eine Diskrepanz in der gemeldeten Anzahl von Parametern festgestellt.
In ihrem Artikel mit dem Titel „UNETR: Transformers for 3D Medical Image Segmentation“ in Tabelle 5:


Darüber hinaus war die verwendete Eingabegröße wie folgt:

Für Multiorgan- und Milzsegmentierungsaufgaben stichproben wir die Eingabebilder nach dem Zufallsprinzip mit Volumengrößen von [96;96;96].

Die Eingabekanäle sind 1 :

Das Multiorgan-Segmentierungsproblem wird als 13-Klassen-Segmentierungsaufgabe mit 1-Kanal-Eingabe formuliert.

Wenn ich jetzt verwendet hätte:

Code: Select all

from monai.networks.nets import UNETR

model = UNETR(
in_channels=1,
out_channels=13,
img_size=(96, 96, 96),
feature_size=16,
hidden_size=768,
mlp_dim=3072,
num_heads=12,
proj_type="perceptron",
norm_name="instance",
res_block=True,
dropout_rate=0.0,
)

params = sum(p.numel() for p in model.parameters())
print(params / 1e6)

I get:

121,079693
Dies meldet ungefähr 121,1 Millionen Parameter, was deutlich höher ist als der im Papier angegebene Wert (92,58 Millionen).
Meine Fragen sind:

• Was verursacht den Unterschied zwischen der im UNETR-Papier und der MONAI gemeldeten Parameteranzahl? Implementierung?
• Wenn ich meine eigene Arbeit schreibe, ist es besser, die Parameteranzahl der tatsächlich verwendeten Implementierung anzugeben, auch wenn sie von der Originalarbeit abweicht? Mit freundlichen Grüßen.

Vielen Dank.