Unterschied in der Parameteranzahl zwischen UNETR-Papier und MONAI-Implementierung ⇐ Python

[Anonymous]

Ich vergleiche viele Deep-Learning-Modelle, einschließlich UNETR, im BTCV-Datensatz miteinander und habe eine Diskrepanz in der gemeldeten Anzahl von Parametern festgestellt.
In ihrem Artikel mit dem Titel „UNETR: Transformers for 3D Medical Image Segmentation“ in Tabelle 5:


Darüber hinaus war die verwendete Eingabegröße wie folgt:

Für Multiorgan- und Milzsegmentierungsaufgaben stichproben wir zufällig die Eingabebilder mit Volumengrößen von [96;96;96].

Die Eingabekanäle sind 1:

Das Multiorgan-Segmentierungsproblem wird wie folgt formuliert: 13-Klassen-Segmentierungsaufgabe mit 1-Kanal-Eingabe.

Der Code ihres Modells wird von MONAI bereitgestellt:

Code: https://monai.io/research/unetr

Wenn ich jetzt verwendet hätte:

Code: Select all

from monai.networks.nets import UNETR

model = UNETR(
in_channels=1,
out_channels=13,
img_size=(96, 96, 96),
feature_size=16,
hidden_size=768,
mlp_dim=3072,
num_heads=12,
proj_type="perceptron",
norm_name="instance",
res_block=True,
dropout_rate=0.0,
)

params = sum(p.numel() for p in model.parameters())
print(params / 1e6)

Ich bekomme:

Code: Select all

121.079693

Dies meldet ungefähr 121,1 Millionen Parameter, was deutlich höher ist als der im Papier angegebene Wert (92,58 Millionen).
Meine Fragen sind:

• Was verursacht den Unterschied zwischen der im UNETR-Papier und der MONAI-Implementierung angegebenen Parameteranzahl?
• Wann Ist es beim Schreiben meiner eigenen Arbeit besser, die Parameteranzahl der tatsächlich verwendeten Implementierung anzugeben, auch wenn diese von der Originalarbeit abweicht?