Undefiniertes Symbol von flash_attn_2_cuda mit flash_attn ⇐ Python

[Anonymous]

Wenn wir versuchen, python src/train_web.py inllama3 auszuführen, besteht zunächst das Problem

Code: Select all

ImportError: This modeling file requires the following packages that were not found in your environment: flash_attn. Run pip install flash_attn

Dann haben wir flash_attn pip installiert und es erneut versucht
diesmal wurde das Problem wie folgt:

Code: Select all

ImportError: /home/mobinets/anaconda3/envs/llama3/lib/python3.12/site-packages/flash_attn_2_cuda.cpython-312-x86_64-linux-gnu.so: undefined symbol: _ZN3c104cuda14ExchangeDeviceEa

Wir hoffen zu erfahren, wie wir mit diesem Problem umgehen können und warum.