StringMaster v1.1
Benutzerhandbuch

Zweck und Funktionsweise des Programms

Das Dienstprogramm String Master dient zum Aufteilen einer Zeichenfolgendatenquellendatei in zwei oder mehr Dateien entsprechend der ausgewählten Maske oder Unterzeichenfolgen. Hauptanwendungsgebiete der Software sind die Suche nach den erforderlichen Einträgen in der Datenbank, Forum- und Weblog-Dumps, Textdateien von großem Umfang, Automatisierung der Referenzdatenbanksortierung nach Domänen und Namen.

(Abb. 1. Hauptfenster)

String Master liest die Quelldatei-Informationen Zeichenfolge für Zeichenfolge und überprüft die Übereinstimmung mit den angegebenen Unterzeichenfolgen oder Masken, bevor der Puffer eingefügt wird. Während der Puffer die sortierten Daten füllt, werden diese in Dateien gespeichert, deren Namen den Namen der ursprünglichen Datei duplizieren, wobei die Sortiernummern der Masken in der Programmliste hinzugefügt werden. Zeichenfolgen, die keiner der benutzerdefinierten Masken entsprechen, werden mit einer Null in der Datei aufgezeichnet.

Basis- und Professional-Versionen von String Master

Ab Version 1.1 sind die Funktionen von StringMaster und StringMaster Pro nahezu identisch. Der Hauptunterschied zur Professional-Version besteht in der Möglichkeit, gleichzeitig mit 256 Masken zu arbeiten, während die Standardversion auf 32 begrenzt ist. Außerdem wird bei jedem Start der nicht registrierten Version der Standardbrowser ausgeführt, um die Homepage von StringMaster (http : //chaoscoder.com/20-StringMaster). Keine nervigen Nörgler mehr, keine weiteren Verzögerungen oder Funktionseinschränkungen.

(Abb. 2. Über den Bildschirm der Standardversion)

Software-Schnittstelle und Kontrollen

Die Programmoberfläche ist kompakt und komfortabel. Das Fenster String Master enthält von oben nach unten: die Menüleiste; das Quelldatei-Zeichenkettenauswahlfeld; das Feld zum Einstellen der Puffergröße und der Statistikaktualisierungshäufigkeit, das Feld zum Einstellen der Referenz; Kombinationsfeld mit einer Liste von Masken oder Teilzeichenfolgen; die Informationszeile.

(Abb. 3. Hauptfenster)

Wenn Sie mit der Maus über eines der Steuerelemente fahren, wird ein Tooltipp mit einer kurzen Erläuterung angezeigt.

(Abb. 4. Überführung)

Durch die Nutzung die Menüleiste (Menu), Sie können ein Hilfefenster aufrufen, einen der Modi für die Dateiverarbeitung oder das Sammeln statistischer Daten auswählen, die Verwendung des Teilstrings anstelle einer Maske anweisen, die Option zum Arbeiten mit Unicode-Codierung verwenden, das Protokoll der Software aktivieren / deaktivieren, und schließen Sie sofort das Anwendungsfenster. Weitere Informationen zu den Menüpunkten finden Sie im Abschnitt "Softwaremenü und Dateiverarbeitungsmodi".

Im das Quelldatei-Auswahlfeld (Source File)können Sie einen Link zur Quelldatei in die Zwischenablage des Betriebssystems einfügen oder manuell über die Schaltfläche "..." auf der rechten Seite auswählen. Der Dateiname darf keine nicht-lateinischen Zeichen enthalten, da das Programm sonst einen Fehler meldet.

(Abb. 5. Fehler beim Öffnen einer Datei mit nicht lateinischen Zeichen im Namen)

Buffer size (lines) Einstellungsfeld enthält die Anzahl der Zeilen, die während des Sortierens in Stichpuffern gespeichert werden, bevor sie für jede Maske tatsächlich in die Dateien geschrieben werden. Die Verwendung der Pufferung beschleunigt das Programm. Abhängig von der Leistung Ihres Computers kann die optimale Puffergröße zwischen 1.000 und 10.000 Zeilen variieren. Die Standardeinstellungen sind 10000. Eine weitere Erhöhung dieser Anzahl führt nicht zu einer signifikanten Erhöhung der Verarbeitungsgeschwindigkeit Geschwindigkeit. Die Puffergröße kann direkt während der Verarbeitung der Datei geändert werden.

String Prepare Settings wird zur Vorverarbeitung der Links verwendet (Entfernen von übertragbaren Parametern, des Skriptnamens und der Pfade, Reduzieren des Verweises auf den ersten Ordner oder auf die Domäne). Weitere Informationen zu Verknüpfungen der Konvertierungslogik finden Sie im Menü "Programm und Verarbeitungsmodi für Dateien".

Das Kombinationsfeld mit einer Liste von Masken oder Teilzeichenfolgen Hier können Sie die erforderlichen Filter für die Verarbeitung der Quelldatei eingeben. Die Gesamtzahl der Filter darf 32 für die kostenlose Version und 256 für die kostenpflichtige Version nicht überschreiten. Standardmäßig enthält diese Liste 30 Domänen (com /,. Net /,. Org /,. Info /,. Gov /,. Edu /,. Mil /,. Biz /,. Co /,. Xxx /,. tv /,. ru /,. ua /,. by /,. cz /,. bg /,. sk /,. kz /,. es /,. de /,. fr /,. uk /,. eu / ,. pl /,. ca /,. ch /,. cn /,. jp /,. it /,. kr /), der Benutzer kann beliebige andere Werte eingeben. Jede neue Maske muss in einer neuen Zeile beginnen.

Einstellungsfeld für die Aktualisierungsfrequenz der Statistik in der Informationszeile. Um darauf zuzugreifen, muss das Hauptfenster horizontal vergrößert werden, bis die Feedback Intensity (lines) erscheint. Der Standardwert für dieses Feld ist 100, dh das Programm aktualisiert die Statistik alle 100 verarbeiteten Zeilen der Quelldatei. Wenn Sie den Wert verringern, werden die Statistiken häufiger aktualisiert, wenn Sie sie erhöhen, als wenn Sie sie seltener durchführen. Dies ermöglicht jedoch eine Leistungssteigerung bei der Arbeit mit großen Datenbanken. Der Wert für die Rückkopplungsintensität kann jederzeit zu Beginn der Dateiverarbeitung sowie während des Sortiervorgangs geändert werden.

(Abb. 6. Feld zum Ändern der Aktualisierungsratenstatistik)

Die Informationszeilen enthält die Gesamtzahl der verarbeiteten Zeilen und die Durchschnittsgeschwindigkeit des Programms, d. h. die Anzahl der pro Sekunde verarbeiteten Zeilen (Average Speed ​​(links / second)).

Wenn die Anwendung auf die übliche Weise geschlossen wird (über die Schaltfläche Schließen im Betriebssystem oder durch Drücken der entsprechenden Tastenkombination), erstellt das Programm eine Konfigurationsdatei (StringMaster.ini), in der die meisten vom Benutzer eingegebenen Informationen gespeichert werden: der Name der für ausgewählten Datei die Verarbeitung und den vollständigen Pfad dazu, den Inhalt der Linkvorbereitungszeile mit dem Feld der Maskenliste, die Pfade und die Namen der erstellenden Dateien mit ihren Sortierergebnissen und dem Wert der Intensität der Umfrage. Diese Datei zeichnet auch auf, ob die Unicode-Codierung und die Verwendung von Teilzeichenfolgen anstelle von Masken aktiviert sind, sowie die benutzerdefinierte Fenstergröße. Beim nächsten Start von String Master werden diese Daten automatisch aus der Konfigurationsdatei gelesen.

Die Option zur Protokolleingabe und ggf. die Größe des Zeichenfolgenpuffers muss bei jedem Neustart des Programms manuell eingestellt werden: Wenn Sie das Programm starten, ist die Möglichkeit zur Protokolleingabe standardmäßig deaktiviert. Die Puffergröße beträgt 10.000 Zeilen.

Die Konfigurationsdatei kann manuell mit einem beliebigen Texteditor bearbeitet werden. Um alle Einstellungen zurückzusetzen, löschen Sie einfach die ini-Datei. In diesem Fall wird sie beim Start von String Master mit allen auf die Standardwerte gesetzten Parametern gestartet.

Menü- und Dateiverarbeitungsmodi

Das Menü String Master’s ist in mehrere thematische Kategorien unterteilt. Neben der Auswahl der Hilfe und dem schnellen Schließen des Anwendungsfensters gibt es drei weitere Elementgruppen. In der ersten Gruppe können Sie einen der vier Sortiermodi, den Zeilenvorbereitungsmodus und einen der beiden Verschlüsselungsmodi auswählen. Die zweite Gruppe enthält drei Punkte für die Erfassung statistischer Informationen und ermöglicht es uns, die Größe der resultierenden Dateien und die Anzahl der Vorkommen der Masken zu schätzen, was bei der Arbeit mit großen Mengen von Eingabedaten nützlich ist. Die dritte Gruppe umfasst die Unicode-Codierungsoptionen, die Verwendung von Teilzeichenfolgen anstelle von Masken und die Eingabe des Verarbeitungsprotokolls durch das Programm. Jeder Menüpunkt kann durch einen Hotkey oder eine Tastenkombination aktiviert werden, wodurch das Programm einfach und intuitiv wird.

(Menü Fig. 7. String Master’s)

About (F1) - Öffnet das Informationsfenster mit Informationen zur Version, dem Veröffentlichungsdatum und der E-Mail-Adresse des Programmautors.

Nachdem der Benutzer eine zu verarbeitende Datei ausgewählt hat, werden alle erforderlichen Teilzeichenfolgen oder Masken im entsprechenden Feld und festgelegt Wählt das Programm einen der Modi Teilen (Split by Masks - Many, Split by Masks - Single, Split by Random - Single, Split by Black and White), Vorbereiten oder Verschlüsseln von Zeichenfolgen (Hash Strings md5, Hash Strings SM-hash), analysiert es die Datei zeilenweise, überprüft die Konformität der einzelnen Komponenten der Zeilen mit den definierten Parametern und zeigt die Informationen in den resultierenden Dateien an .

Bei Auswahl von Split by Masks - Many (F2) werden Dateien entsprechend der Anzahl der Masken / Teilzeichenfolgen erstellt. Jede Datei erhält einen Namen, der sich aus dem Namen der Quelldatei und der Sortiernummer der Maske oder Unterzeichenfolge zusammensetzt. Beim Benennen der base.txt-Quelldatei und aller in den Standard-Teilzeichenfolgen mit «. Com /», angezeigten Links wird eine Datei mit dem Namen base.txt.1.txt; mit «. Net /» - bis 200010001000 mit base.txt.2.txt; bis 10001000 gespeichert. Im Falle einer Übereinstimmung wird die String-Quelldatei in alle Dateien kopiert, die die übereinstimmenden Masken / Teilstrings enthalten. Wenn es zusätzlich Zeilen gibt, die zu keiner Maske oder Unterzeichenfolge passen, werden sie in eine Datei mit dem Quellennamen und dem Index 0 eingefügt.

Beispiel: Wenn zwei Vorkommen in einer der Zeilen «. org /» - und base.txt.3.txt, gefunden werden, wird es in - «. Com /» und «. Net /», abgerufen

Bei Verwendung von base.txt.1.txt, sind die Nummer und die Namen der erstellten Dateien ähnlich. Wenn jedoch eine Zeile gefunden wird, die mehreren Teilzeichenfolgen oder Masken entspricht, wird sie nur in der Datei mit einer Maske platziert, die in der Liste höher platziert ist.

Beispiel: Wenn zwei Vorkommen in einer der Zeilen base.txt.2.txt. und Split by Masks - Single (F3) gefunden werden, wird nur - «. Com /» abgerufen, jedoch nicht «. Net /»,

Mit base.txt.1.txt, erstellt das Programm nur zwei Dateien - mit Index 0 und Index 1. In der Datei mit Index 1 werden die Quelldatenzeilen platziert, die mit mindestens einer der angegebenen Masken oder Teilzeichenfolgen übereinstimmen. der Index 0 file holt alle, für die keine Übereinstimmung gefunden wurde.

Der Modus base.txt.2.txt. dient zum Teilen großer Dateien in Teile mit automatischem Mischen. In diesem Fall werden alle Masken ignoriert und das Programm erstellt 32 Dateien: Jede Zeile der Quelldatei hat die gleiche Wahrscheinlichkeit, in eine von ihnen zu gelangen.

Durch Auswahl von Split by Black and White (F4) kann der Benutzer das einzelne erforderliche Formular zu einer Liste von Links geben (die sogenannte Vorverarbeitung). In früheren Softwareversionen wurde diese Option in Verbindung mit den Sortiermodi verwendet, um viel Zeit zu sparen. Sie kann jedoch auch zum Verlust von Links führen (z. B. beim Reduzieren der Links auf das Zeichen "?" In der Basis) Alle Zeilen, die dieses Zeichen nicht enthalten, werden in eine Datei mit einem Index von Null eingefügt und können verloren gehen, wenn sie mit einer anderen vorbereitenden Basis mit anderen Verarbeitungsmodi kombiniert werden. Durch die Vorverarbeitung als separates Verfahren können solche Fehler vermieden werden. Es ist auch gut, eine unvollendete Version zu sehen, bevor Sie eine verschlüsselte Datendatei erstellen.

Alle Masken und Teilzeichenfolgen in diesem Modus werden vom Programm ignoriert. Im Feld Split by Random - Single (F5) wird eine vordefinierte Zeichenfolge verwendet. Dabei gilt Folgendes:

• Erstes Zeichen - Erforderlich, um die Zeichen in der Datei zu finden, bei denen es sich um die Stelle handelt, an der sich die Zeichenfolge aufteilt.
• Zweites Zeichen - Zähler der Einträge des angegebenen Zeichens;
• Drittes Zeichen - ist 0 oder 1. Wenn es 0 ist, steht der Eintrag des Zeichens am Anfang der Zeichenfolge. Wenn 1, das Ende;
• Vierte Markierung - kann 0 oder 1 sein. Wenn es 0 ist, werden alle Daten in der Zeichenfolge vom Anfang bis zum Eingabezeichen gelöscht. Wenn 1, dann vom Zeichen bis zum Ende;
• Fünftes Zeichen - ist 0 oder 1. Wenn es 0 ist, wird das Eingabezeichen in die Zeile der resultierenden Datei eingefügt. Wenn 1, dann ausgeschlossen.

Beispiel 1: Wenn in den URL Prepare Settings der Wert Prepare Strings (F6) ist, dann verlinken Sie wiehttp://ru.someforum.com/index.php?showtopic=10358&st=40&#entry136670 wird auf die Form reduziert http://ru.someforum.com, da:

• Das Zeichen «/» wird gesucht;
• Der dritte Eintrag des Zeichens wird durchsucht;
• Die Zeile wird von Anfang an überprüft.
• alle Daten nach dem Eingabezeichen werden gelöscht;
• Das Eingabezeichen selbst ist nicht in der Ausgabedatei enthalten.

Beispiel 2: Wenn in den URL Prepare Settings der Wert String Prepare Settings ist, dann verlinken Sie wie http://music.bla.bla.ru.someforum.com wird konvertiert zu ru.someforum.com, da:

• Das Zeichen «.» Wird gesucht;
• Der erste Eintrag des Zeichens wird durchsucht.
• Die Linie wird vom Ende geprüft;
• alle Daten nach dem Löschen des Eingabezeichens (Bei der Prüfung von rechts nach links ist dies derselbe Teil des Links «http: //music.bla.bla»)
• Das Eingabezeichen selbst ist nicht in der Ausgabedatei enthalten.

In diesem Fall werden Links von Subdomains gelöscht.

Beispiel 3: Wenn in den URL Prepare Settings der Rechnungswert /3010, ein Linktyp ist http://ru.someforum.com/index.php?showtopic=10358&st=40&#entry136670 nimm das Formular http://ru.someforum.com/index.php, da:

• Das Zeichen «?» Wird gesucht;
• Der erste Eintrag des Zeichens wird durchsucht.
• Die Zeile wird von Anfang an überprüft.
• Alle Daten nach dem Eingabezeichen werden gelöscht
• Das Eingabezeichen selbst ist nicht in der Ausgabedatei enthalten.

Diese Behandlung entfernt die zusätzlichen Parameter des Skripts.

Mit dem .3110, kann der Benutzer jede Zeile des Algorithmus md5 verschlüsseln. Dieses Programm erstellt eine einzelne Datei, in der alle Hashes der Quelldateizeilen platziert werden. Dies ist nützlich, wenn mehrere Benutzer ihre Basislinien vergleichen möchten, ohne sich gegenseitig über ihren direkten Inhalt zu informieren, und um die Basislinien zu verkaufen.

Verschlüsselungsmodus ?1010,, im Gegensatz zum vorherigen Modus kann die Hash-Länge angegeben werden. Da es unpraktisch ist, MD5 in voller Länge für die Verarbeitung kleiner Dateien zu verwenden, erhöht das Verringern der Länge des Hash in vielen Fällen die Geschwindigkeit des Programms und die Größe der Ausgabedatei, die die verschlüsselten Zeichenfolgenwerte enthält. Die Verwendung eines längeren Hashs wird empfohlen, wenn Sie mit großen Informationsmengen arbeiten, da dies dazu beiträgt, potenzielle Konflikte zu vermeiden.

(Abb. 8. Länge des Hashs für die Verschlüsselung festlegen)

Speisekarte. Modi zum Abrufen von Statistiken und Optionen

Neben den grundlegenden Möglichkeiten, mit einer Datei in Hash Strings md5 (F7) zu arbeiten, stehen dem Benutzer mehrere zusätzliche statistische Modi zur Verfügung. Zur Auswahl stehen dem Benutzer die Menüpunkte Hash Strings SM-hash (F8) zur Verfügung.

Diese Modi bestimmen die Größe der Ausgabedateien und die Anzahl der Einträge gemäß den benutzerdefinierten Parametern. Das Funktionsprinzip ähnelt dem von Sortieralgorithmen, die Ausgabedateien enthalten jedoch Statistiken anstelle der für die Masken geeigneten Zeichenfolgen, wodurch die Dinge viel schneller werden, da die Leistung in diesem Fall nur durch die Geschwindigkeit des zeilenweisen Lesens begrenzt wird. Der Name der Ausgabedatei setzt sich aus dem Namen der Originaldatei mit dem Zusatz «stata» und dem gewählten Statistikmodus zusammen. Lautet der Dateiname beispielsweise base.txt im Modus Nach Masken teilen - Viele (stata), wird die resultierende Datei base.txt.stata.method1 genannt. In der Statistikdatei werden neben den gezählten Masken die Daten zur Gesamtanzahl der Zeilen in der Quelldatei und die für die Analyse aufgewendete Zeit eingetragen. Die Möglichkeit zum Sammeln von Statistiken ist äußerst nützlich, wenn Sie mit großen Datenbanken mit Links arbeiten.

(Abb. 9. Beispiel einer Ausgabedatei im Statusmodus)

Unabhängig davon, welcher Modus für die Arbeit mit den Dateien ausgewählt wurde, kann der Benutzer zusätzliche Optionen auswählen: die Verwendung der Unicode-Codierung, die Arbeit mit Teilzeichenfolgen anstelle von Masken (standardmäßig aktiviert) und die Aktivierung des Protokolls durch das Programm.

Die Option String Master kann Dateien mit UTF-8-Codierung (Unicode Transformation Format, kompatibel mit 8-Bit-Codierung des Texts) unter einem aktivierten Flag und ANSI-Codierung verarbeiten, falls deaktiviert. Bei Split by Masks - Many (stata) (Shift+F2), Split by Masks - Single (stata) (Shift+F3), Split by Black and White (stata) (Shift+F4) ist es daher nicht erforderlich, ein Programm eines Drittanbieters zu verwenden, um den Text in einer ordnungsgemäßen Codierung zu speichern.

Mit der Option Unicode mode (Ctrl + F1) kann der Benutzer nur die Teilzeichenfolgen für die Sortierung verwenden. In diesem Fall ist die Verwendung von String Master nur relevant, wenn sie in einem Quelldateitext vorkommen kann. Die Option "Teilzeichenfolge nicht maskieren" ist standardmäßig aktiviert. Wenn diese Option deaktiviert ist, ist der Maskenmodus aktiviert, in dem das Zeichen Use Substring not Mask (Ctrl + F2) eine breitere Anwendung hat.

Mit der Option «*» kann die Anwendung ein Protokoll der Arbeit führen, das Informationen über Datum und Uhrzeit des Beginns und der Fertigstellung der ausgewählten Dateien, die Sortier- und Verschlüsselungsmethoden sowie den Dateinamen und den vollständigen Pfad enthält.

(Abb. 10. Programmarbeitsminuten)

Arbeitsprogramme und erweiterte Optionen

Wenn Sie den gewünschten Verarbeitungsmodus aus dem Menü auswählen oder den entsprechenden Hotkey (Tastenkürzel) drücken, wird das Programm gestartet und die Statusleiste zeigt den Fortschritt des Auftrags und die Verarbeitungsgeschwindigkeit der Linie an.

(Abb. 11. Fortschritt einer Aufgabe)

Nach dem Sortieren wird dem Benutzer ein Berichtsfenster angezeigt, das angibt, dass die Arbeit erledigt wurde.

(Abb. 12. Abschlussbericht des Programms)

Wenn der Benutzer der Meinung ist, dass Dateinamen, die sich aus dem Namen der Quelldatei und dem digitalen Index zusammensetzen, unpraktisch sind, kann er alle Namen manuell konfigurieren. Dazu muss er die rechte Seite des Bildlaufbereichs des Kombinationsfelds mit der Liste der Masken nach links verschieben.

(Abb. 13. Anzeige des Konfigurationsfelds für Dateinamen)

Das Ändern von Namen ist nützlich, wenn Sie mit großen Dateien arbeiten, da Sie durch Ändern der Adresse Dateien auf einem anderen physischen Laufwerk aufzeichnen können. Wenn Sie zum ersten Mal ein Dateinamenfeld verwenden, ist es leer. Die darin enthaltenen Werte werden angezeigt, wenn Sie eine Quelldatei im Feld Quelldatei auswählen. Wenn Sie das Programm wie gewohnt schließen, werden die vom Benutzer angegebenen Dateinamen in der Konfigurationsdatei gespeichert. Wenn Sie jedoch eine neue Datenbank für die Sortierung mit der Schaltfläche «*» auswählen, werden sie auf die Standardwerte zurückgesetzt.

(Abb. 14. Verstecktes Feld zum Einstellen der Dateinamen)

Wichtige Funktionen des Programms

Zu den wichtigen Funktionen des Programms gehören: Die sekundäre Verarbeitung derselben Datei überschreibt die Ausgabedateien nicht, sondern hängt sie an. Vergessen Sie daher nicht, wenn Sie mit großen Dateien arbeiten, deren Verarbeitung viel Zeit in Anspruch nimmt.

Bei jedem Programmstart wird der Pufferwert auf 10.000 Zeilen gesetzt, die Protokollierungsoption ist deaktiviert. Wenn der Benutzer einen Datensatz führen oder den vom Standard abweichenden Wert des Zeichenfolgenpuffers verwenden muss, müssen die entsprechenden Einstellungen jedes Mal beim Start des Programms zurückgesetzt werden. Alle anderen in der ini-Datei gespeicherten Änderungen werden beim Start von Enable Application Log automatisch gelesen

Der Menüpunkt «…» oder das Drücken von String Master. schließt das Programm sofort, hiermit wird die Aufzeichnung der aktuellen Daten aus dem Puffer in die Ausgabedatei und die Einstellungen der Konfigurationsdatei nicht durchgeführt. Im Falle eines Fehlers oder der Notwendigkeit, das Programm zu schließen, sollte der Wert des Puffers verringert werden. Die Möglichkeit eines Notausgangs kann angewendet werden, wenn das Programm "einfriert". In der restlichen Zeit sollte der String-Master auf übliche Weise geschlossen werden.

Fazit

Natürlich eignet sich Exit (Halt) nicht nur für die Arbeit mit Linklisten und einer Vielzahl von Datenbanken für Foren und Websites. Durch eine stabile und schnelle Arbeit mit großen Dateien kann dieses Programm viele andere Verwendungszwecke haben.

F10