Projekte TOKENDASH: KI VERBRAUCH MESSEN Green Team: Agentic – Ökonomie und Ökologie Unternehmen: neuland – Büro für Informatik GmbH KI ist ein wesentlicher Teil der Software-Entwicklung geworden. Nachhaltigkeit ist uns als Firma aber ebenfalls wichtig. Unsere KI-Nutzung soll den Planeten nicht über Gebühr belasten. Voraussetzung dafür ist Transparenz über die Nutzung – die die KI-Anbieter aber nicht liefern. Wir haben ein datensparsames Dashboard gebaut, das Verbrauchsdaten einsammelt, Emissionen abschätzt und Modellen zuordnet, Verläufe anzeigt und diese Zahlen für alle sichtbar macht. Bald stellen wir das Projekt als Open Source zur Verfügung. Mehr über das Projekt WAS HAT DEN MUT GEGEBEN, ZU STARTEN? Die Unterstützung aus der Geschäftsleitung. DAS ERGEBNIS Bewusstsein: Die Mitarbeitenden (ca. 130 Personen), die Geschäftsführung und sogar der Gesellschafterkreis bekommen ein Bewusstsein für die Auswirkungen unserer KI-Nutzung. Kleinere Modelle: Seit dem Start des Dashboards wurde durch die Sensibilisierung schon ein guter Teil der KI-Nutzung auf kleinere Modelle verschoben. Das spart Emissionen und Kosten, ist also ökologisch und ökonomisch wertvoll. Verbrauch: Der Verbrauch ist über die letzten Wochen nur wenig gewachsen, obwohl immer mehr Leute bei uns aktiv mit KI arbeiten und immer mehr Entwickelnde ihren Verbrauch an das Dashboard reporten. Wissen teilen: Wir sprechen bei öffentlichen Veranstaltungen darüber (z. B. auf den Konferenzen Green IO, code.talks und Coding.Waterkant, bei Netzwerktreffen mit anderen Software-Firmen und auf unserem eigenen Konferenz-Tag mit Kunden und Externen) und erzeugen so Bewusstsein für die Thematik und vermitteln Wissen zu Reduktionsmaßnahmen. Kunde DOUGLAS: Unser Kunde DOUGLAS möchte das Dashboard auch bei sich in der IT-Entwicklung mit ca. 300 Personen einsetzen und ist dafür im Austausch mit uns. Antarctica: Neben unserer eigenen Emissionsabschätzung sind wir auch im Austausch mit Antarctica, die eine Methodik zur genaueren Messung der Emissionen entwickelt haben und deren Modell bei unserem Dashboard einfach eingehängt werden könnte. Das würde es uns ermöglichen, Experimente zu machen, z. B. ob ein größeres Modell, das aber schneller zum gewünschten Ergebnis kommt, sparsamer ist als ein kleineres, das dafür mehr Runden drehen muss. DIE WIRKUNG Wir diskutieren quer durch die Firma Reduktionsmaßnahmen, probieren aus und lernen voneinander. Wir haben beschlossen, das Projekt Open Source zu stellen (die Vorbereitungen dafür sind bald abgeschlossen), damit auch andere Software-Entwicklungs-Firmen diese Sichtbarkeit bekommen und ihren Verbrauch reduzieren können. Längerfristig wollen wir darüber die Wirksamkeit unserer Reduktionsmaßnahmen verfolgen. Wir haben noch einiges geplant, wobei wir ohne Sichtbarkeit völlig im Dunkeln tappen würden. Das Dashboard gibt uns auch ökonomische Sicherheit gegenüber erwarteten, plötzlichen Preissprüngen bei den KI-Nutzungskosten. DIE GRÖSSTE HERAUSFORDERUNG Eine vertrauenswürdige Methodologie für die Abschätzung der Emissionen zu entwickeln, wenn man von den Providern keine Daten bekommt. Außerdem gilt noch immer gilt: Manche Anbieter geben absolut nichts Brauchbares heraus, nicht mal die Kosten pro Token oder eine Möglichkeit, den Verbrauch genau abzugreifen. Deshalb ist die Datenlage z. B. bei OpenAI so dünn. Wir hoffen auf die Unterstützung aus der Community nach dem Open-Sourcen des Projekts. DIE GRÖSSTE LERNERFAHRUNG Wie viele von unseren Entwickelnden einfach für jede Aufgabe, egal wie aufwendig oder simpel, immer das voreingestellte, mächtigste Modell nutzen, und wie sehr man dieses Verhalten beeinflussen kann, wenn man das mal sichtbar macht. WAS AM MEISTEN SPASS GEMACHT HAT Den Fortschritt zu sehen – und zu sehen, wie intensiv plötzlich Lösungen diskutiert wurden, als die Sichtbarkeit da war. WAS HAT DEN MUT GEGEBEN, ZU STARTEN? Die Unterstützung aus der Geschäftsleitung. DAS ERGEBNIS Bewusstsein: Die Mitarbeitenden (ca. 130 Personen), die Geschäftsführung und sogar der Gesellschafterkreis bekommen ein Bewusstsein für die Auswirkungen unserer KI-Nutzung. Kleinere Modelle: Seit dem Start des Dashboards wurde durch die Sensibilisierung schon ein guter Teil der KI-Nutzung auf kleinere Modelle verschoben. Das spart Emissionen und Kosten, ist also ökologisch und ökonomisch wertvoll. Verbrauch: Der Verbrauch ist über die letzten Wochen nur wenig gewachsen, obwohl immer mehr Leute bei uns aktiv mit KI arbeiten und immer mehr Entwickelnde ihren Verbrauch an das Dashboard reporten. Wissen teilen: Wir sprechen bei öffentlichen Veranstaltungen darüber (z. B. auf den Konferenzen Green IO, code.talks und Coding.Waterkant, bei Netzwerktreffen mit anderen Software-Firmen und auf unserem eigenen Konferenz-Tag mit Kunden und Externen) und erzeugen so Bewusstsein für die Thematik und vermitteln Wissen zu Reduktionsmaßnahmen. Kunde DOUGLAS: Unser Kunde DOUGLAS möchte das Dashboard auch bei sich in der IT-Entwicklung mit ca. 300 Personen einsetzen und ist dafür im Austausch mit uns. Antarctica: Neben unserer eigenen Emissionsabschätzung sind wir auch im Austausch mit Antarctica, die eine Methodik zur genaueren Messung der Emissionen entwickelt haben und deren Modell bei unserem Dashboard einfach eingehängt werden könnte. Das würde es uns ermöglichen, Experimente zu machen, z. B. ob ein größeres Modell, das aber schneller zum gewünschten Ergebnis kommt, sparsamer ist als ein kleineres, das dafür mehr Runden drehen muss. DIE WIRKUNG Wir diskutieren quer durch die Firma Reduktionsmaßnahmen, probieren aus und lernen voneinander. Wir haben beschlossen, das Projekt Open Source zu stellen (die Vorbereitungen dafür sind bald abgeschlossen), damit auch andere Software-Entwicklungs-Firmen diese Sichtbarkeit bekommen und ihren Verbrauch reduzieren können. Längerfristig wollen wir darüber die Wirksamkeit unserer Reduktionsmaßnahmen verfolgen. Wir haben noch einiges geplant, wobei wir ohne Sichtbarkeit völlig im Dunkeln tappen würden. Das Dashboard gibt uns auch ökonomische Sicherheit gegenüber erwarteten, plötzlichen Preissprüngen bei den KI-Nutzungskosten. DIE GRÖSSTE HERAUSFORDERUNG Eine vertrauenswürdige Methodologie für die Abschätzung der Emissionen zu entwickeln, wenn man von den Providern keine Daten bekommt. Außerdem gilt noch immer gilt: Manche Anbieter geben absolut nichts Brauchbares heraus, nicht mal die Kosten pro Token oder eine Möglichkeit, den Verbrauch genau abzugreifen. Deshalb ist die Datenlage z. B. bei OpenAI so dünn. Wir hoffen auf die Unterstützung aus der Community nach dem Open-Sourcen des Projekts. DIE GRÖSSTE LERNERFAHRUNG Wie viele von unseren Entwickelnden einfach für jede Aufgabe, egal wie aufwendig oder simpel, immer das voreingestellte, mächtigste Modell nutzen, und wie sehr man dieses Verhalten beeinflussen kann, wenn man das mal sichtbar macht. WAS AM MEISTEN SPASS GEMACHT HAT Den Fortschritt zu sehen – und zu sehen, wie intensiv plötzlich Lösungen diskutiert wurden, als die Sichtbarkeit da war.