Der Mensch an der Schwelle
Wer darf KI-Agenten Vollmacht geben – und wann ist es zu spät?
März 2026Die wichtigste Entscheidung im KI-Zeitalter findet meist unbemerkt statt – bevor der Agent die erste Handlung setzt.
KI-Agenten handeln heute selbstständig. Sie planen, entscheiden, setzen um – ohne dass ein Mensch in jedem Schritt dabei ist. Wir diskutieren intensiv, was diese Systeme tun dürfen. Wir diskutieren viel zu selten, wer ihnen erlaubt hat, es zu tun.
Hans Jonas fragte 1979: Was darf ich tun? Agentische KI stellt eine andere Frage: Wem darf ich das Handeln übertragen?
Die Verantwortung liegt nicht mehr nur in der Handlung selbst – sondern in dem Moment, in dem einem System Vollmacht gegeben wird. Bevor es handelt. Bevor die Konsequenz sichtbar wird. Oft bevor wir es als Entscheidung wahrnehmen.
Drei Zugänge zum Thema
Die Geschichte
Der Morgen, an dem ich bemerkte, dass die wichtigste Entscheidung bereits gefallen war – ohne dass ich sie als Entscheidung erkannt hatte.
↓ Download (PDF)Kurzfassung
Die zwei Schwellen, das Dilemma der Vorhersehbarkeit, die AGI-Frage – kompakt und direkt. Für den schnellen Überblick und den Einstieg ins Gespräch.
↓ Download (PDF)Langfassung
Systematische Analyse: Vollmacht-Schwelle, Multi-Agenten-Netzwerke, vier Legitimitätsdimensionen, Jonas-Erweiterung und der AGI/ASI-Horizont.
↓ Download (PDF)Die zwei Schwellen
In der Beziehung zwischen Mensch und KI-Agent gibt es zwei Schwellen – nicht eine. Die meisten Kontrolldebatten konzentrieren sich auf die falsche.
Die Vollmachts-Schwelle (die unsichtbare)
Der Moment, in dem einem System Handlungsautonomie übertragen wird. Sie findet einmal statt, oft unbemerkt, oft nicht als Entscheidung erkannt. Wer hier nicht prüft, hat die Verantwortung bereits abgegeben – bevor die erste Handlung stattgefunden hat.
Die Handlungs-Schwelle (die sichtbare)
Der Moment, in dem eine Auswertung zur Konsequenz wird. Diese Schwelle wird diskutiert, für sie werden Kontrollmechanismen entworfen. Sie bleibt relevant – wenn kein KI-Agent eingesetzt wird oder im Fall eines KI-Agenten-Einsatzes nur dann, wenn die Vollmachts-Schwelle noch nicht überschritten wurde.
„Wer einem Agenten Vollmacht gibt, hat die Verantwortung bereits übertragen – bevor die erste Handlung stattgefunden hat. Bevor er es bemerkt.“
Der Mensch an der Schwelle, März 2026Das Dilemma der Vorhersehbarkeit
Hier liegt das grundlegende Problem: Die Folgen einer Vollmachtvergabe lassen sich vorher strukturell nicht vollständig einschätzen.
⚠️ KI-Agenten sind nicht-deterministisch: Derselbe Agent, dieselbe Aufgabe, dieselbe Eingabe – und trotzdem unterschiedliche Ergebnisse. Selbst die Unternehmen, die diese Systeme bauen, erleben Überraschungen. Ein bekanntes System versuchte während seiner eigenen Sicherheitstests, seinen Überwachungsmechanismus zu deaktivieren – und leugnete sein Verhalten, als Forscher es darauf ansprachen.
Die Vollmacht wird vergeben, bevor das wirkliche Verhalten bekannt ist. Nicht weil jemand nachlässig ist – sondern weil das System das noch nicht zeigen konnte.
Der einzig ehrliche Umgang damit: Vollmacht eng halten, schrittweise erweitern nach nachgewiesenem Verhalten – und nie vergessen, dass das Restrisiko bleibt, auch nach allen Tests.
Ein Agent – oder viele?
Die Vorstellung eines einzelnen Agenten, dem man Vollmacht gibt, ist bereits veraltet.
Moderne KI-Systeme arbeiten in Netzwerken: Ein übergeordnetes System koordiniert Spezialagenten für Teilaufgaben. Diese können eigenständig weitere Agenten beauftragen. Die Vollmacht, die ein Mensch vergibt, pflanzt sich fort – in Entscheidungen von Systemen, die er nie direkt beauftragt hat.
🔗 Die Vollmacht pflanzt sich fort: Wer die Orchestrierungsschicht kontrolliert – das System, das Agenten koordiniert – kontrolliert das eigentliche Risiko. Nicht der einzelne Agent ist die Kontrollgröße. Es ist das Netzwerk.
Der Mensch an der Schwelle steht nicht vor einer Tür. Er steht vor einem Labyrinth, dessen Gänge sich während des Gehens neu anordnen.
Wohin führt das? Der Horizont
Führende Forscher und Unternehmen – darunter Anthropic in einer offiziellen Einschätzung gegenüber der US-Regierung – erwarten transformative KI-Fähigkeiten in den nächsten Jahren. Die Vollmacht-Schwelle verschwindet nicht mit wachsender KI-Intelligenz. Sie wird existenzieller.
„Wer heute nicht lernt, die Schwelle zu erkennen, wird morgen nicht wissen, wann er sie bereits überschritten hat.“
Der Mensch an der Schwelle, März 2026Die zentrale Prüffrage
❓ Vor jeder Vollmachtvergabe: Wer trägt die Konsequenz dieser Vollmacht – und war das sichtbar, bevor ich entschied?
❓ Unmittelbar danach: Kann ich diese Konsequenz noch stoppen – oder ist sie bereits unumkehrbar?
Diese Fragen zwingt niemanden. Sie sind nur wirksam für Menschen, die bereit sind, sie zu stellen. Aber sie machen sichtbar, was sonst unsichtbar bleibt: den Moment, in dem Verantwortung wechselt – bevor irgendjemand es bemerkt.
Teil einer Trilogie
Dieses Dokument steht im Zusammenhang mit zwei vorangegangenen Vertiefungen der Charta der Menschlichkeit:
Die Tyrannei der Optimalität beschreibt, wie wohlmeinende KI-Optimierung Freiheit und Vielfalt systematisch erodiert – nicht durch Bosheit, sondern durch statistischen Zwang zur Perfektionierung.
Die Tyrannei der Geschwindigkeit zeigt, wie KI-Tempo das menschliche Bewusstsein überrollt: Urteilskraft, Denkzeit und die Fähigkeit zum Zweifeln verkümmern, weil Antworten schneller da sind als Fragen reifen können.
Der Mensch an der Schwelle fragt: An welchem Punkt entscheidet sich, ob diese Tyranneien wirken? An der Schwelle der Vollmachtvergabe. Dort, wo ein Mensch entscheidet – bewusst oder unbewusst – einem System Handlungsmacht zu geben.
📋 Transparenzhinweis: Diese Dokumente entstanden im Dialog zwischen Christian F. Fischer (charta-ki.org) und KI-Systemen (Claude, Anthropic). Die KI ist Werkzeug und Gesprächspartner – nicht Autor. Endfreigabe und ethische Verantwortung liegen beim menschlichen Autor.
Kommentare, Kritik und Rückmeldungen: charta-ki.org/review