Achtung Kostenfalle!

Die Aktivierung von PTUs (Provisioned Throughput Units) kann in Azure OpenAI zu unerwartet hohen Kosten führen

– wir hatten gerade diesen Fall: 10.000 Euro in 4 Tagen!

Microsoft hat die Verfügbarkeit dieser PTUs bereits freigegeben - früher als ursprünglich für Q1 2025 angekündigt. PTUs steuern die Rechenkapazität für die Verarbeitung von Anfragen in Azure OpenAI. Also: je mehr PTUs aktiviert sind, desto höher sind Kapazität und Leistung. Aber auch: desto höher sind die Kosten!

Wir empfehlen:

1. Starten Sie mit einem Proof of Concept (POC) und der Verwendung eines globalen (shared) Modells mit Abrechnung nach verbrauchten Token anstatt der Reservierung eigener Ressourcen.
2. Analysieren Sie Zugriffe und Auslastung und aktivieren Sie im Anschluss nur so viele PTUs wie nötig.
3. Überwachen Sie die PTU-Nutzung anhand der Azure-Tools.
4. Kontrollieren Sie regelmäßig die entstandenen Kosten.

Planen und kontrollieren Sie die PTUs sorgfältig - dann können Sie sich auch ruhigen Gewissens über die erhöhte Leistung und Verfügbarkeit der Azure OpenAI-Dienste freuen!