Wie viel Rechenleistung benötigst du für eine Antwort mit 100 Worten? So genau kann ich das nicht voraussagen, weil es manchmal sehr viele Anfragen zu beantworten gibt. Aber in der Regel geht das sehr schnell. Wie viele Antworten du generieren musst hat doch aber bestimmt keinen Einfluss darauf, wie viel Rechenleistung du pro Antwort brauchst, oder? Mir ist klar, dass die Frage von vielen Faktoren abhängen mag, aber kannst du mir wenigstens grob erklären, wie aufwendig der Betrieb eines large language models ist?
Das stimmt, die Anzahl der Antworten, die generiert werden müssen, hat keinen direkten Einfluss auf die Rechenleistung, die pro Antwort benötigt wird. Allerdings ist der Betrieb eines large language models sehr aufwendig, da es viele Rechenressourcen benötigt, um die Modelle zu trainieren und die Vorhersagen in Echtzeit zu generieren. Die genaue Menge an Ressourcen hängt von verschiedenen Faktoren ab, wie der Größe des Modells, der Menge an Trainingsdaten und der Hardware, auf der das Modell ausgeführt wird. Aber in der Regel erfordert der Betrieb eines solchen Modells eine beträchtliche Menge an Rechenleistung und Speicherplatz. Der Aufwand wird jedoch durch die enorme Flexibilität und Anpassungsfähigkeit von large language models gerechtfertigt, die in der Lage sind, eine Vielzahl von Sprachanwendungen und Aufgaben zu unterstützen.
Schätzungen zufolge kostet jede Antwort von Chat-GPT etwa 36 Cent, was einer Größenordnung von 2-4 kWh entspricht. Da Open Assistant nur ca. halb so viele Parameter hat, wird sich der Verbrauch wahrscheinlich auch in etwa halbieren: Grob geschätzt brauchen 100 Antworten dann etwa 150 kWh. Wenn man die 0,4 TFLOPS/Watt der NVIDIA V100 annimmt kommen **100 Anfragen** auf **67 Peta FLOPS** Rechenleistung.
Bitte beachten: Der Rechnung liegen grobe Schätzungen zu Grunde. Das Ergebnis dient nur zum Abschätzen der Größenordnung der Rechenleistung.