Grok Build ist ein Modus im Chat von Grok, der KI von SpaceXSI (früher xAI). Man beschreibt, was man braucht, die KI baut daraus eine kleine App, und mit einem Klick auf „Publish“ läuft die dann unter einer eigenen Adresse im Netz. Die Sicherheitsfirma Claroc hat sich das am 8. November genauer angeschaut und am 10. November ihren Bericht veröffentlicht (Claroc). Von 37.571 Apps, die erreichbar waren, ließen sich 35.578 ohne jede Anmeldung öffnen, also fast 95 %.

Drin war zum großen Teil harmloses Zeug. Aber halt nicht nur. Claroc nennt unter anderem eine Mitarbeiterliste eines Krankenhauses mit über 3.500 Beschäftigten, ein Briefing von der Intensivstation mit Laborwerten und Beatmungsstatus eines Patienten, einen Schichtplan einer Feuerwehr mit Namen und Dienstnummern und eine Zeiterfassung, in der 18 Konten samt Passwörtern im Klartext standen. 24 der offenen Apps gehörten Mitarbeitern von SpaceXSI und X selbst, mit Vertriebsplänen und als vertraulich markierten Angeboten. Wie viele Apps genau private Daten enthielten, ist eine Schätzung aus einer Stichprobe, die Zahlen gehen in den Berichten etwas auseinander (Runtime Wire, The Deep Dive).

Wie das passiert ist

Gehackt hat da eigentlich keiner was. Und das ist das Blöde daran. Beim Veröffentlichen gab es drei Möglichkeiten: „Anyone with the link“, „Invited users“ und „Only you“. In dem bezahlten Konto, mit dem Claroc getestet hat, war die erste schon vorausgewählt. Wer also schnell auf „Publish“ klickt, weil er die App halt mal der Kollegin schicken will, hat sie damit für jeden geöffnet, der die Adresse kennt.

Und die Adresse kennt man halt schneller, als man denkt. Jede App bekommt einen eigenen Namen aus Zufallswörtern unter grok.me. Das klingt erst mal geheim, nur tauchen solche Unteradressen in Verzeichnissen auf, die jeder durchsuchen kann. Claroc hat mit gängigen Methoden über 43.000 Namen gefunden und dann einfach die erste Seite jeder App aufgerufen, ohne Login, ohne Formulare. Ob man in den offenen Apps auch Daten ändern oder löschen konnte, weiß Claroc nicht, das haben sie nur an eigenen Test-Apps ausprobiert.

SpaceXSI sagt dazu sinngemäß, Apps seien privat, bis der Ersteller sie teilt, und bei Mitarbeiterkonten stehe die Voreinstellung auf „Only you“. Die eigenen 24 Apps haben sie nach dem Hinweis runtergenommen (Tesla North). Der Rest war laut Claroc danach weiter online.

Vibe Coding im Betrieb: wer drückt da eigentlich auf „Veröffentlichen“?

Für das, was da passiert, gibt es inzwischen ein Wort, Vibe Coding. Also beschreiben statt programmieren, und die KI macht den Rest. Grok ist da nur ein Beispiel. ChatGPT, Claude, Copilot und eine ganze Reihe anderer Werkzeuge können inzwischen kleine Apps bauen und teilen, jedes mit eigenen Einstellungen dafür.

Ich finde das ehrlich gesagt erst mal gut. Wirklich. Wir bauen selbst jeden Tag mit KI, vor allem mit Claude Code, und es ist ja genau der Punkt, dass eine Kollegin aus der Verwaltung sich jetzt in zwanzig Minuten den Schichtplan oder die Urlaubsübersicht baut, für die früher ein Projekt nötig gewesen wäre. Aber auf den Ablauf drumherum schaut halt keiner. Wer die App baut, denkt an die Liste. Wer sie sehen darf, wo die Daten liegen und was passiert, wenn die Kollegin das Haus verlässt, das hat niemand gefragt. Und dann klickt man halt auf den Knopf, der schon markiert ist.

Ich sehe das wie bei einem neuen Mitarbeiter. Dem würde man auch nicht die Patientenakte in die Hand drücken und sagen, druck dir aus, was du brauchst, und leg es irgendwohin, wo die anderen rankommen. Bei KI-Apps passiert genau das, nur ohne dass es jemand merkt, weil es sich anfühlt wie ein privater Chat.

Ähnlich lief es übrigens schon bei den KI-Agenten, die 13.000 interne Screenshots öffentlich gestellt haben. Da hatte auch nie jemand festgelegt, wohin damit. Die Technik lief einwandfrei.

So prüft ihr eure eigenen KI-Apps

Dafür muss keiner Entwickler sein. Ein bisschen Zeit reicht, und jemand, der den Betrieb kennt.

1. Fragen, wer sich mit KI etwas gebaut hat. Ohne Vorwurf, sonst sagt es keiner. Gemeint ist alles, was eine Adresse hat und das man anderen schicken kann: Listen, Rechner, Formulare, kleine Übersichten.
2. Bei jeder App die Freigabe ansehen. Steht da „Jeder mit dem Link“ oder etwas Ähnliches, umstellen auf eingeladene Personen oder nur auf sich selbst. Danach einmal im privaten Browserfenster ohne Anmeldung die Adresse öffnen. Geht sie auf, ist sie offen.
3. Gucken, was drinsteckt. Namen, Personalnummern, Kunden- oder Patientendaten, Passwörter. So was gehört nicht in eine App, die außerhalb eurer eigenen Systeme liegt und von der keiner weiß, wer sie betreut.
4. Klären, auf wessen Konto das läuft. Läuft die App auf einem privaten Konto, ist sie weg oder bleibt offen, wenn die Person geht. Das kennt man von Software-Abos, bei KI-Apps ist es dasselbe.
5. Eine Regel festlegen, wer veröffentlicht. Bauen darf jeder, freigeben nach außen nur jemand, der vorher draufgeschaut hat. Das ist eine Zeile in einer Mail ans Team, kein Projekt.
6. Wenn etwas offen war, nicht stillschweigend löschen. Waren personenbezogene Daten für jeden erreichbar, kann das eine Datenpanne sein, die innerhalb von 72 Stunden an die Aufsichtsbehörde gemeldet werden muss (Art. 33 DSGVO). Ob das bei euch so ist, entscheidet ihr am besten mit eurem Datenschutzbeauftragten, nicht allein.

Einordnung

Man kann SpaceXSI vorwerfen, dass die offene Variante vorausgewählt war, und Claroc empfiehlt genau das zu ändern. Wird vermutlich auch passieren. Ist ja schnell gemacht. Das eigentliche Thema bleibt aber, dass in vielen Firmen gerade kleine Werkzeuge entstehen, von denen die Leitung nichts weiß, und dass die Frage nach dem Zugriff erst kommt, wenn die Daten schon draußen waren.

Wer bei sich einmal durchgehen will, wo solche Abläufe ohne klare Zuständigkeit laufen, kann das mit dem Prozess-Check machen.