Zum Inhalt springen
covey

Ein QA-Agent soll einen Merge Request im Projekt acme/shop abnehmen. Die Testsuite des Projekts verbindet sich zuerst mit einer Postgres-Datenbank unter db:5432.

In der Sandbox des Agenten läuft keine Datenbank, und die Tests scheitern deshalb, bevor sie die Änderung überhaupt berühren. Das docker-compose.yml im Repository beschreibt dagegen genau, was fehlt: einen Dienst db mit dem Image postgres:16, einen Dienst cache mit redis:7 und die Anwendung app mit eigenem Build.

Für diese Lücke kannte covey vorher zwei Wege, und beide hatten ihre Kosten. Die Arbeitsplätze dev-full und dev-php bringen bis heute mariadb-server im Image mit, und der Agent soll mit mariadb-install-db ein Datenverzeichnis in seinem Home anlegen. Damit landet Arbeitszustand in dem Verzeichnis, das bei jedem Aufwachen durchlaufen und nach jedem Lauf zurückgeschrieben wird, und der Agent verbraucht Arbeitsschritte, bevor er eine Zeile der Änderung gelesen hat.

Der zweite Weg stand in der Anleitung des QA-Agenten, nach der ein fehlender Dienst als Befund in den Merge Request geschrieben wurde. Die Plattform gab damit vor einer Antwort auf, die das Repository meist schon in seinem eigenen docker-compose.yml aufgeschrieben hat.

Die Datenbank läuft neben der Sandbox und heißt db

Heute startet der Runner solche Dienste als eigene Container neben der Sandbox. Sie laufen genau so lange wie die Sandbox selbst.

Der Agent erreicht jeden Dienst unter seinem Namen, im Beispiel also unter db:5432 wie im docker-compose.yml des Projekts. Gestartet und wieder entfernt werden die Container vom Runner. Der Host, auf dem die Container laufen, bleibt für den Agenten unsichtbar.

Die Container hängen in einem Docker-Netz, das allein dieser Sandbox gehört. Die Spezifikation spec/16-runner.md begründet diese Trennung mit zwei Agenten im selben Netz. Beide könnten einen Dienst db anlegen, und Docker würde dann einen beliebigen der beiden gleichnamigen Aliase beantworten.

Das Netz wird mit --internal angelegt und bietet den Diensten deshalb keinen Weg ins Internet.

Die Sandbox tritt dem Dienstnetz erst nach ihrem eigenen Start bei. Ihr erstes Netz bestimmt nämlich die Standardroute, und diese Entscheidung soll nicht von einer deklarierten Datenbank abhängen.

Das Projekt sagt selbst, welche Dienste es braucht

Ein Agent mit dem Eintrag - system: covey scope: services:write in seiner ACCESS.md darf den Inhalt eines docker-compose.yml an die Aktion covey/start_services schicken. Er schickt den Inhalt statt eines Pfads, da die Control Plane nicht in die Sandbox hineinsieht.

covey liest die Datei, statt sie auszuführen. Von einem Dienst, der gestartet wird, übernimmt covey neben dem Namen allein image und environment.

Ein Dienst mit build: gilt als Anwendung des Projekts und gehört in die Sandbox, wo der Agent sie aus dem Quelltext baut. Übersprungen wird außerdem jeder Dienst mit einem Hostverzeichnis als Volume oder mit privileged, cap_add, devices, einem fremden network_mode oder einem pid-Namensraum. Gerade diese Schlüssel würden einen Dienst zu einem Weg auf den Runner machen.

Die Antwort an den Agenten besteht aus drei Listen. Unter started stehen die laufenden Dienste. Unter skipped stehen die Dienste, die diese Datei dem Agenten nicht anbietet, und unter refused die Images ohne Freigabe der Organisation.

Im Beispiel landet app wegen build: unter skipped. Über db und cache entscheidet die Freigabeliste.

Welche Images laufen, legt die Organisation einmal fest

Jedes Image eines Dienstes bringt fremden Code auf den Runner-Host. Deshalb führt jede Organisation eine Freigabeliste unter Infrastructure → Workplaces → Services beside the sandbox.

Ein Muster ist eine exakte Referenz wie postgres:16, endet auf einem Stern direkt hinter /, : oder @, also etwa postgres:* oder ghcr.io/acme/*, oder besteht aus einem Stern allein, der jedes Image erlaubt. Ein freistehendes postgres* lehnt covey ab, weil es auch auf postgres-evil.example.com/backdoor passen würde.

Eine leere Liste sperrt jedes Image. Auf einer frischen Installation startet also zunächst kein einziger Dienst. Steht in der Liste des Beispiels allein postgres:*, startet db, und cache mit redis:7 erscheint unter refused. Der Agent liest dazu in seinem Prompt die Anweisung, Dienst und Image zu melden und ohne den Dienst weiterzuarbeiten. Der Agent selbst kann kein Muster hinzufügen, erweitern kann die Liste eine Person mit der Rolle org_admin oder agent_owner.

Der Preis sind Arbeitsspeicher, Wartezeit und ein Zustand, der nicht bleibt

Die Kapazitätsangabe eines Runners zählt allein die Sandboxen. Ein Postgres und ein Redis je Agent belegen trotzdem echten Arbeitsspeicher auf dem Host.

Dazu kommt ein Docker-Netz für jede Sandbox, neben der Dienste laufen. Der Standard-Adresspool des Docker-Daemons reicht nur für einige Dutzend solcher Netze. Ein Host mit vielen gleichzeitigen Sandboxen mit Diensten braucht deshalb vorher erweiterte default-address-pools in der daemon.json.

Eine gestartete Datenbank nimmt außerdem noch lange keine Verbindungen an. Die Bereitschaft prüft bewusst der Agent selbst, da er derjenige ist, der mit der Datenbank sprechen will. Er liest deshalb in seinem Prompt, auf den Port zu warten und es erneut zu versuchen, bevor er einen Dienst für ausgefallen hält.

Der Zustand der Dienste endet mit der Sandbox.

Was ein Agent behalten will, gehört in sein Home oder auf eine Wiki-Seite. Eine überlebende Datenbank würde dem nächsten Lauf einen Stand übergeben, den niemand aufgeschrieben hat. Für die Nachvollziehbarkeit zeichnet covey zu jedem gestarteten Dienst die tatsächliche Image-ID auf, beim Aufruf von covey/start_services gegen die laufende Aufgabe und erneut zu Beginn jedes weiteren Jobs in derselben Sandbox.

Für den Merge Request in acme/shop läuft die Testsuite damit gegen db. Im Ergebnis vermerkt der Agent die fehlende Freigabe für cache mit redis:7. Ein Mensch erweitert daraufhin die Liste um redis:*, und beim nächsten Aufruf von covey/start_services startet auch der Cache neben der Sandbox.

Zurück zur Übersicht