Scroll to navigation

LINKCHECKER(1) LinkChecker LINKCHECKER(1)

NAME

linkchecker - Kommandozeilenprogramm zum Prüfen von HTML Dokumenten und Webseiten auf ungültige Verknüpfungen

SYNTAX

linkchecker [Optionen] [Datei-oder-URL]...

BESCHREIBUNG

LinkChecker beinhaltet

  • rekursives Prüfen und Multithreading
  • Ausgabe als farbigen oder normalen Text, HTML, SQL, CSV, XML oder einen Sitemap-Graphen in verschiedenen Formaten
  • support for HTTP/1.1, HTTPS, FTP, mailto: and local file links
  • Einschränkung der Linküberprüfung mit URL-Filter
  • Proxy-Unterstützung
  • username/password authorization for HTTP and FTP
  • Unterstützung des robots.txt Protokolls
  • Unterstützung für Cookies
  • Unterstützung für HTML5
  • Antivirusprüfung
  • ein Kommandozeilenprogramm und web interface

BEISPIELE

Der häufigste Gebrauchsfall prüft die angegebene Domäne rekursiv:

$ linkchecker http://www.example.com/


Beachten Sie dass dies die komplette Domäne überprüft, welche aus mehreren tausend URLs bestehen kann. Benutzen Sie die Option -r, um die Rekursionstiefe zu beschränken.

Prüfe keine /secret URLs. Alle anderen Verknüpfungen werden wie üblich geprüft:

$ linkchecker --ignore-url=/secret mysite.example.com


Überprüfung einer lokalen HTML Datei unter Unix:

$ linkchecker ../bla.html


Überprüfung einer lokalen HTML Datei unter Windows:

C:\> linkchecker c:empest.html


Sie können den http:// URL Anteil weglassen wenn die Domäne mit www. beginnt:

$ linkchecker www.example.com


Sie können den ftp:// URL Anteil weglassen wenn die Domäne mit ftp. beginnt:

$ linkchecker -r0 ftp.example.com


Erzeuge einen Sitemap Graphen und konvertiere ihn mit dem graphviz dot Programm:

$ linkchecker -odot -v www.example.com | dot -Tps > sitemap.ps


OPTIONEN

Allgemeine Optionen

Use FILENAME as configuration file. By default LinkChecker uses $XDG_CONFIG_HOME/linkchecker/linkcheckerrc.

Hilfe! Gebe Gebrauchsanweisung für dieses Programm aus.

Generiere nicht mehr als die angegebene Anzahl von Threads. Die Standardanzahl von Threads ist 10. Um Threads zu deaktivieren, geben Sie eine nicht positive Nummer an.

Gebe die Version aus und beende das Programm.

Print available check plugins and exit.

Ausgabeoptionen

URL checking results

Output to a file linkchecker-out.TYPE, $XDG_DATA_HOME/linkchecker/failures for the failures output type, or FILENAME if specified. The ENCODING specifies the output encoding, the default is that of your locale. Valid encodings are listed at https://docs.python.org/library/codecs.html#standard-encodings. The FILENAME and ENCODING parts of the none output type will be ignored, else if the file already exists, it will be overwritten. You can specify this option more than once. Valid file output TYPEs are text, html, sql, csv, gml, dot, xml, sitemap, none or failures. Default is no file output. The various output types are documented below. Note that you can suppress all console output with the option -o none.

Gebe keine Warnungen aus. Standard ist die Ausgabe von Warnungen.

Specify the console output type as text, html, sql, csv, gml, dot, xml, sitemap, none or failures. Default type is text. The various output types are documented below. The ENCODING specifies the output encoding, the default is that of your locale. Valid encodings are listed at https://docs.python.org/library/codecs.html#standard-encodings.

Log all checked URLs, overriding --no-warnings. Default is to log only errors and warnings.

Progress updates

Do not print URL check status messages.

Application

Print debugging output for the given logger. Available debug loggers are cmdline, checking, cache, plugin and all. all is an alias for all available loggers. This option can be given multiple times to debug with more than one logger.

Quiet

Quiet operation, an alias for -o none that also hides application information messages. This is only useful with -F, else no results will be output.

Optionen zum Prüfen

Use initial cookie data read from a file. The cookie data format is explained below.

Check external URLs.

URLs matching the given regular expression will only be syntax checked. This option can be given multiple times. See section REGULAR EXPRESSIONS for more info.

Prüfe URLs die auf den regulären Ausdruck zutreffen, aber führe keine Rekursion durch. Diese Option kann mehrmals angegeben werden. Siehe Abschnitt REGULAR EXPRESSIONS für weitere Infos.

Check URLs regardless of any robots.txt files.

Liest ein Passwort von der Kommandozeile und verwende es für HTTP und FTP Autorisierung. Für FTP ist das Standardpasswort anonymous@. Für HTTP gibt es kein Standardpasswort. Siehe auch -u.

Prüfe rekursiv alle URLs bis zu der angegebenen Tiefe. Eine negative Tiefe bewirkt unendliche Rekursion. Standard Tiefe ist unendlich.

Setze den Timeout für TCP-Verbindungen in Sekunden. Der Standard Timeout ist 60 Sekunden.

Verwende den angegebenen Benutzernamen für HTTP und FTP Autorisierung. Für FTP ist der Standardname anonymous. Für HTTP gibt es keinen Standardnamen. Siehe auch -p.

Gibt den User-Agent an, der zu HTTP-Servern geschickt wird, z.B. "Mozilla/4.0". Der Standard ist "LinkChecker/X.Y", wobei X.Y die aktuelle Version von LinkChecker ist.

Input options

Read from stdin a list of white-space separated URLs to check.

The location to start checking with. A file can be a simple list of URLs, one per line, if the first line is "# LinkChecker URL list".

KONFIGURATIONSDATEIEN

Konfigurationsdateien können alle obigen Optionen enthalten. Sie können zudem Optionen enthalten, welche nicht auf der Kommandozeile gesetzt werden können. Siehe linkcheckerrc(5) für mehr Informationen.

AUSGABETYPEN

Beachten Sie, dass standardmäßig nur Fehler und Warnungen protokolliert werden. Sie sollten die --verbose Option benutzen, um eine komplette URL Liste zu erhalten, besonders bei Ausgabe eines Sitemap-Graphen.

Standard Textausgabe in "Schlüssel: Wert"-Form.
Gebe URLs in "Schlüssel: Wert"-Form als HTML formatiert aus. Besitzt zudem Verknüpfungen auf die referenzierten Seiten. Ungültige URLs haben Verknüpfungen zur HTML und CSS Syntaxprüfung angehängt.
Gebe Prüfresultat in CSV-Format aus mit einer URL pro Zeile.
Gebe Vater-Kind Beziehungen zwischen verknüpften URLs als GML Graphen aus.
Gebe Vater-Kind Beziehungen zwischen verknüpften URLs als DOT Graphen aus.
Gebe Prüfresultat als GraphXML-Datei aus.
Gebe Prüfresultat als maschinenlesbare XML-Datei aus.
Protokolliere Prüfergebnisse als XML Sitemap dessen Format unter https://www.sitemaps.org/protocol.html dokumentiert ist.
Gebe Prüfresultat als SQL Skript mit INSERT Befehlen aus. Ein Beispielskript, um die initiale SQL Tabelle zu erstellen ist unter create.sql zu finden.
Suitable for cron jobs. Logs the check result into a file $XDG_DATA_HOME/linkchecker/failures which only contains entries with invalid URLs and the number of times they have failed.
Gibt nichts aus. Für Debugging oder Prüfen des Rückgabewerts geeignet.

REGULÄRE AUSDRÜCKE

LinkChecker akzeptiert Pythons reguläre Ausdrücke. Siehe https://docs.python.org/howto/regex.html für eine Einführung. Eine Ergänzung ist, dass ein regulärer Ausdruck negiert wird falls er mit einem Ausrufezeichen beginnt.

COOKIE-DATEIEN

Eine Cookie-Datei enthält Standard HTTP-Header (RFC 2616) mit den folgenden möglichen Namen:

Setzt die Domäne für die die Cookies gültig sind.
Gibt den Pfad für den die Cookies gültig sind; Standardpfad ist /.
Setzt den Cookie Name/Wert. Kann mehrmals angegeben werden.

Mehrere Einträge sind durch eine Leerzeile zu trennen. Das untige Beispiel sendet zwei Cookies zu allen URLs die mit http://example.org/hello/ beginnen, und eins zu allen URLs die mit https://example.org beginnen:

Host: example.com
Path: /hello
Set-cookie: ID="smee"
Set-cookie: spam="egg"



Host: example.org
Set-cookie: baggage="elitist"; comment="hologram"


PROXY UNTERSTÜTZUNG

To use a proxy on Unix or Windows set the http_proxy or https_proxy environment variables to the proxy URL. The URL should be of the form http://[user:pass@]host[:port]. LinkChecker also detects manual proxy settings of Internet Explorer under Windows systems. On a Mac use the Internet Config to select a proxy. You can also set a comma-separated domain list in the no_proxy environment variable to ignore any proxy settings for these domains. The curl_ca_bundle environment variable can be used to identify an alternative certificate bundle to be used with an HTTPS proxy.

Einen HTTP-Proxy unter Unix anzugeben sieht beispielsweise so aus:

$ export http_proxy="http://proxy.example.com:8080"


Proxy-Authentifizierung wird ebenfalls unterstützt:

$ export http_proxy="http://user1:mypass@proxy.example.org:8081"


Setzen eines Proxies unter der Windows Befehlszeile:

C:\> set http_proxy=http://proxy.example.com:8080


DURCHGEFÜHRTE PRÜFUNGEN

Alle URLs müssen einen ersten Syntaxtest bestehen. Kleine Kodierungsfehler ergeben eine Warnung, jede andere ungültige Syntaxfehler sind Fehler. Nach dem Bestehen des Syntaxtests wird die URL in die Schlange zum Verbindungstest gestellt. Alle Verbindungstests sind weiter unten beschrieben.

Nach Verbinden zu dem gegebenen HTTP-Server wird der eingegebene Pfad oder Query angefordert. Alle Umleitungen werden verfolgt, und falls ein Benutzer/Passwort angegeben wurde werden diese falls notwendig als Authorisierung benutzt. Alle finalen HTTP Statuscodes, die nicht dem Muster 2xx entsprechen, werden als Fehler ausgegeben.

Der Inhalt von HTML-Seiten wird rekursiv geprüft.

Eine reguläre, lesbare Datei die geöffnet werden kann ist gültig. Ein lesbares Verzeichnis ist ebenfalls gültig. Alle anderen Dateien, zum Beispiel Gerätedateien, unlesbare oder nicht existente Dateien ergeben einen Fehler.

HTML- oder andere untersuchbare Dateiinhalte werden rekursiv geprüft.

Ein mailto:-Link ergibt eine Liste von E-Mail-Adressen. Falls eine Adresse fehlerhaft ist, wird die ganze Liste als fehlerhaft angesehen. Für jede E-Mail-Adresse werden die folgenden Dinge geprüft:
1.
Check the address syntax, both the parts before and after the @ sign.
2.
Look up the MX DNS records. If we found no MX record, print an error.
3.
Check if one of the mail hosts accept an SMTP connection. Check hosts with higher priority first. If no host accepts SMTP, we print a warning.
4.
Try to verify the address with the VRFY command. If we got an answer, print the verified address as an info.

Für FTP-Links wird Folgendes geprüft:
1.
Eine Verbindung zum angegeben Rechner wird aufgebaut
2.
Versuche, sich mit dem gegebenen Nutzer und Passwort anzumelden. Der Standardbenutzer ist anonymous, das Standardpasswort ist anonymous@.
3.
Versuche, in das angegebene Verzeichnis zu wechseln
4.
Liste die Dateien im Verzeichnis auf mit dem NLST-Befehl

Ein nicht unterstützter Link wird nur eine Warnung ausgeben. Weitere Prüfungen werden nicht durchgeführt.

Die komplette Liste von erkannten, aber nicht unterstützten Links ist in der Quelldatei linkcheck/checker/unknownurl.py. Die bekanntesten davon dürften JavaScript-Links sein.


SITEMAPS

Sitemaps are parsed for links to check and can be detected either from a sitemap entry in a robots.txt, or when passed as a FILE-OR-URL argument in which case detection requires the urlset/sitemapindex tag to be within the first 70 characters of the sitemap. Compressed sitemap files are not supported.

PLUGINS

There are two plugin types: connection and content plugins. Connection plugins are run after a successful connection to the URL host. Content plugins are run if the URL type has content (mailto: URLs have no content for example) and if the check is not forbidden (ie. by HTTP robots.txt). Use the option --list-plugins for a list of plugins and their documentation. All plugins are enabled via the linkcheckerrc(5) configuration file.

REKURSION

Bevor eine URL rekursiv geprüft wird, hat diese mehrere Bedingungen zu erfüllen. Diese werden in folgender Reihenfolge geprüft:

1.
Eine URL muss gültig sein.
2.
Der URL-Inhalt muss analysierbar sein. Dies beinhaltet zur Zeit HTML-Dateien, Opera Lesezeichen, und Verzeichnisse. Falls ein Dateityp nicht erkannt wird, (zum Beispiel weil er keine bekannte HTML-Dateierweiterung besitzt, und der Inhalt nicht nach HTML aussieht), wird der Inhalt als nicht analysierbar angesehen.
3.
Der URL-Inhalt muss ladbar sein. Dies ist normalerweise der Fall, mit Ausnahme von mailto: oder unbekannten URL-Typen.
4.
Die maximale Rekursionstiefe darf nicht überschritten werden. Diese wird mit der Option --recursion-level konfiguriert und ist standardmäßig nicht limitiert.
5.
Die URL darf nicht in der Liste von ignorierten URLs sein. Die ignorierten URLs werden mit der Option --ignore-url konfiguriert.
6.
Das Robots Exclusion Protocol muss es erlauben, dass Verknüpfungen in der URL rekursiv verfolgt werden können. Dies wird geprüft, indem in den HTML Kopfdaten nach der "nofollow"-Direktive gesucht wird.

Beachten Sie, dass die Verzeichnisrekursion alle Dateien in diesem Verzeichnis liest, nicht nur eine Untermenge wie bspw. index.htm.

BEMERKUNGEN

URLs von der Kommandozeile die mit ftp. beginnen werden wie ftp://ftp. behandelt, URLs die mit www. beginnen wie http://www.. Sie können auch lokale Dateien angeben. Falls sich Ihr System automatisch mit dem Internet verbindet (z.B. mit diald), wird es dies tun wenn Sie Links prüfen, die nicht auf Ihren lokalen Rechner verweisen Benutzen Sie die Option --ignore-url, um dies zu verhindern.

Javascript Links werden nicht unterstützt.

Wenn Ihr System keine Threads unterstützt, deaktiviert diese LinkChecker automatisch.

Sie können mehrere Benutzer/Passwort Paare in einer Konfigurationsdatei angeben.

UMGEBUNG

gibt Standard HTTP Proxy an

specifies default HTTPS proxy server

an alternative certificate bundle to be used with an HTTPS proxy

kommaseparierte Liste von Domains, die nicht über einen Proxy-Server kontaktiert werden

gibt Ausgabesprache an

RÜCKGABEWERT

Der Rückgabewert ist 2 falls

•
ein Programmfehler aufgetreten ist.

Der Rückgabewert ist 1 falls

  • ungültige Verknüpfungen gefunden wurden oder
  • Warnungen gefunden wurden und Warnungen aktiviert sind

Sonst ist der Rückgabewert Null.

LIMITIERUNGEN

LinkChecker benutzt Hauptspeicher für jede zu prüfende URL, die in der Warteschlange steht. Mit tausenden solcher URLs kann die Menge des benutzten Hauptspeichers sehr groß werden. Dies könnte das Programm oder sogar das gesamte System verlangsamen.

DATEIEN

$XDG_CONFIG_HOME/linkchecker/linkcheckerrc - default configuration file

$XDG_DATA_HOME/linkchecker/failures - default failures logger output filename

linkchecker-out.TYP - Standard Dateiname der Logausgabe

SIEHE AUCH

linkcheckerrc(5)

https://docs.python.org/library/codecs.html#standard-encodings - gültige Ausgabe Enkodierungen

https://docs.python.org/howto/regex.html - Dokumentation zu regulären Ausdrücken

AUTHOR

Bastian Kleineidam <bastian.kleineidam@web.de>

COPYRIGHT

2000-2016 Bastian Kleineidam, 2010-2023 LinkChecker Authors

Dezember 04, 2023 10.3.0.post33+g268799ee0