Ineffizient

Mit Effizienz misst man die Ressourcennutzung – also das Verhältnis von Ergebnis zu eingesetzten Mitteln (Zeit, Geld, Material, Personal). Der Ressourcenverbrauch von LLMs ist enorm und mir erscheint es schon länger so, als ob man so etwas wie ein Auto erfunden hätte, aber dummerweise mit einem Benzinverbrauch von 10 Litern pro Kilometer. Solange ich das Benzin verschenke, habe ich damit die ultimative Konkurrenz zu Trägern und Pferdefuhrwerken. Blöd nur, wenn ich mit dem Verschenken aufhöre. Das geschieht allmählich bei OpenAI, Anthropic und Co . LLMs sind eine spannende Technologie, aber im Effizienzvergleich mit einem menschlichen Gehirn schneiden sie nicht so doll ab. Und wenn die tatsächlichen Kosten in Rechnung gestellt werden, dann schrumpft die „KI-Revolution“ auf ein überschaubares Maß, nämlich das bezahlbare Maß. Große Modelle zu benutzen, kostet halt sehr viel und lohnt sich nicht so ohne Weiteres. Anekdote am Rande: Gestern schätzten mein Team und ich eine Story (wir machen Scrum), bei der es darum ging, aus Kostengründen an einer Stelle OpenAI durch Mistral zu ersetzen. Auch da wird sich zeigen müssen, wie lange Mistral preiswerter bleiben wird. An der anderen Seite gibt es ja auch die lokalen Modelle, die nur ein paar Gigabyte Größe haben und auf einem modernen Smartphone oder einem Rechner mit passender Grafikkarte laufen. Damit lässt sich viel Nützliches machen (ich erproben das gerade für mich), aber es ist nicht der Jobkiller, sondern einfach nur ein neues Werkzeug. Es wurde zwar mit hohem Energieaufwand produziert, lässt sich aber beliebig reproduzieren und läuft dann unter meiner Kontrolle auf ganz gewöhnlicher Hardware. Das ist auch jenseits des Hypes interessant und ich bin ein klein wenig optimistisch, dass das anders und dezentraler ablaufen wird, als die Oligarchen sich das denken. Der erste Satz dieses Posts stammt übrigens zu 80% von Gemma, der lokalen KI auf meinem Pixel. Ich bräuchte eine Definition von Effizienz und habe sie mir geben lassen. Der Rest stammt aus meinem Hirn inklusive aller seltsamen Formulierungen.