Failureurl API

Übersicht

Die Failureurl API dient zur Verwaltung von fehlgeschlagenen Crawl-urls in Fess. Sie können urls überprüfen und löschen, bei denen während des Crawlings Fehler aufgetreten sind.

Basis-url

/api/admin/failureurl

Endpunktliste

Methode Pfad Beschreibung
GET / Liste der fehlgeschlagenen urls abrufen
DELETE /{id} Fehlgeschlagene url löschen
DELETE /delete-all Alle fehlgeschlagenen urls löschen

Liste der fehlgeschlagenen urls abrufen

Request

GET /api/admin/failureurl

Parameter

Parameter Typ Erforderlich Beschreibung
size Integer Nein Anzahl der Einträge pro Seite (Standard: 20)
page Integer Nein Seitennummer (beginnt bei 0)
errorCountMin Integer Nein Mindestanzahl der Fehler zum Filtern
configId String Nein Konfigurations-ID zum Filtern

Response

{
  "response": {
    "status": 0,
    "failures": [
      {
        "id": "failure_id_1",
        "url": "https://example.com/broken-page",
        "configId": "webconfig_id_1",
        "errorName": "ConnectException",
        "errorLog": "Connection refused: connect",
        "errorCount": 3,
        "lastAccessTime": "2025-01-29T10:00:00Z",
        "threadName": "Crawler-1"
      },
      {
        "id": "failure_id_2",
        "url": "https://example.com/not-found",
        "configId": "webconfig_id_1",
        "errorName": "HttpStatusException",
        "errorLog": "404 Not Found",
        "errorCount": 1,
        "lastAccessTime": "2025-01-29T09:30:00Z",
        "threadName": "Crawler-2"
      }
    ],
    "total": 45
  }
}

Response-Felder

Feld Beschreibung
id Fehlgeschlagene url ID
url Die fehlgeschlagene url
configId Crawl-Konfigurations-ID
errorName Fehlername
errorLog Fehlerprotokoll
errorCount Anzahl der aufgetretenen Fehler
lastAccessTime Letzte Zugriffszeit
threadName Thread-Name

Fehlgeschlagene url löschen

Request

DELETE /api/admin/failureurl/{id}

Response

{
  "response": {
    "status": 0,
    "message": "Failure url deleted successfully"
  }
}

Alle fehlgeschlagenen urls löschen

Request

DELETE /api/admin/failureurl/delete-all

Parameter

Parameter Typ Erforderlich Beschreibung
configId String Nein Nur fehlgeschlagene urls einer bestimmten Konfiguration löschen
errorCountMin Integer Nein Nur urls mit mindestens der angegebenen Fehleranzahl löschen

Response

{
  "response": {
    "status": 0,
    "message": "All failure urls deleted successfully",
    "deletedCount": 45
  }
}

Fehlertypen

Fehlername Beschreibung
ConnectException Verbindungsfehler
HttpStatusException HTTP-Statusfehler (404, 500 usw.)
SocketTimeoutException Timeout-Fehler
UnknownHostException Host-Auflösungsfehler
SSLException SSL-Zertifikatsfehler
IOException Ein-/Ausgabefehler

Verwendungsbeispiele

Liste der fehlgeschlagenen urls abrufen

curl -X GET "http://localhost:8080/api/admin/failureurl?size=100&page=0" \
     -H "Authorization: Bearer YOUR_TOKEN"

Nach Fehleranzahl filtern

# Nur urls mit 3 oder mehr Fehlern abrufen
curl -X GET "http://localhost:8080/api/admin/failureurl?errorCountMin=3" \
     -H "Authorization: Bearer YOUR_TOKEN"

Fehlgeschlagene urls einer bestimmten Konfiguration abrufen

curl -X GET "http://localhost:8080/api/admin/failureurl?configId=webconfig_id_1" \
     -H "Authorization: Bearer YOUR_TOKEN"

Fehlgeschlagene url löschen

curl -X DELETE "http://localhost:8080/api/admin/failureurl/failure_id_1" \
     -H "Authorization: Bearer YOUR_TOKEN"

Alle fehlgeschlagenen urls löschen

# Alle fehlgeschlagenen urls löschen
curl -X DELETE "http://localhost:8080/api/admin/failureurl/delete-all" \
     -H "Authorization: Bearer YOUR_TOKEN"

# Nur fehlgeschlagene urls einer bestimmten Konfiguration löschen
curl -X DELETE "http://localhost:8080/api/admin/failureurl/delete-all?configId=webconfig_id_1" \
     -H "Authorization: Bearer YOUR_TOKEN"

# Nur urls mit 3 oder mehr Fehlern löschen
curl -X DELETE "http://localhost:8080/api/admin/failureurl/delete-all?errorCountMin=3" \
     -H "Authorization: Bearer YOUR_TOKEN"

Fehlertypen aggregieren

# Anzahl nach Fehlertyp zählen
curl -X GET "http://localhost:8080/api/admin/failureurl?size=1000" \
     -H "Authorization: Bearer YOUR_TOKEN" | \
     jq '[.response.failures[].errorName] | group_by(.) | map({error: .[0], count: length})'

Referenzinformationen