@bkastl Ggf. braucht es für die LLM Anwendungen absehbar das compute gar nicht mehr in dem Umfang, siehe:
"Scalable MatMul-free Language Modeling":
https://arxiv.org/abs/2406.02528

github:https://github.com/ridgerchu/matmulfreellm