StringMaster v1.1
Manuel utilisateur

But et fonctionnalité du programme

String Master L'utilitaire est conçu pour diviser un fichier de source de données sous forme de chaîne en deux ou plusieurs fichiers conformément au masque ou aux sous-chaînes choisis. Les principaux domaines d’application du logiciel sont la recherche des entrées requises dans la base de données, les vidages de journaux de forums et de journaux Web, les fichiers texte de gros volumes, l’automatisation du tri de la base de données de référence par domaines et noms.

(Fig. 1. Fenêtre principale)

String Master lit chaîne par chaîne les informations du fichier source, vérifie sa conformité avec les sous-chaînes ou le masque spécifiés avant de les placer dans la mémoire tampon. Lorsque la mémoire tampon se remplit, les données triées sont stockées dans des fichiers dont les noms dupliquent le nom du fichier initial en ajoutant les numéros de tri des masques dans la liste des programmes. Les chaînes qui ne correspondent à aucun des masques définis par l'utilisateur sont enregistrées dans le fichier avec un zéro.

Versions de base et professionnelle de String Master

À partir de la version 1.1, les fonctionnalités de StringMaster et StringMaster Pro sont presque identiques. La principale différence avec la version professionnelle réside dans la possibilité de travailler simultanément avec 256 masques, tandis que la version standard est limitée à 32. De plus, à chaque démarrage de la version non enregistrée, le navigateur par défaut sera exécuté pour afficher la page d'accueil de StringMaster (http. : //chaoscoder.com/20-StringMaster). Plus de nag-screen ennuyeux, plus de retards ou de limitations de fonctionnalités.

(Fig. 2. À propos de l'écran de la version standard)

Interface logicielle et contrôles

L'interface du programme est compacte et pratique. De haut en bas, la fenêtre String Master contient: la barre de menus; le champ de sélection de chaîne de fichier source; le champ de réglage de la taille de la mémoire tampon et de la fréquence de mise à jour des statistiques, le champ d'établissement de référence; Zone de liste déroulante avec une liste de masques ou de sous-chaînes; la ligne d'information.

(Fig. 3. Fenêtre principale)

Lorsque vous passez la souris sur l’une des commandes, une info-bulle apparaît avec une brève explication.

(Fig. 4. Survol)

En utilisant la barre de menus (Menu), vous pouvez appeler une fenêtre d’aide, sélectionner l’un des modes de traitement de fichier ou de collecte de données statistiques, commander l’utilisation de la sous-chaîne au lieu d’un masque, utiliser la possibilité de travailler avec le codage Unicode, activer / désactiver le protocole du logiciel, et fermez immédiatement la fenêtre de l'application. Pour plus d’informations sur les éléments de menu, reportez-vous à la section "Menu logiciel et modes de traitement de fichier".

Dans le champ de sélection du fichier source (Source File), vous pouvez insérer un lien vers le fichier source dans le Presse-papiers du système d’exploitation ou le sélectionner manuellement à l’aide du bouton "..." situé à droite. Le nom du fichier ne doit pas contenir de caractères non latins, sinon le programme signalera une erreur.

(Fig. 5. Erreur lors de l'ouverture d'un fichier avec des caractères non latins dans le nom)

Buffer size (lines) champ de réglage contient le nombre de lignes qui seront stockées dans sting-buffers pendant le tri avant d'être réellement écrites dans les fichiers pour chaque masque. L'utilisation de la mise en mémoire tampon contribue à accélérer le programme. En fonction des performances de votre ordinateur, la taille optimale de la mémoire tampon peut varier de 1 000 à 10 000 lignes. Les paramètres par défaut sont définis à 10 000. Une augmentation supplémentaire de ce nombre n'entraînera pas une augmentation significative du traitement. la vitesse. La taille de la mémoire tampon peut être modifiée directement pendant le traitement du fichier.

String Prepare Settings est utilisé pour prétraiter les liens (suppression des paramètres transmissibles, du nom du script et des chemins, réduction de la référence au premier dossier ou au domaine). En savoir plus sur les liens logiques de conversion - dans le "Menu programme et les modes de traitement des fichiers".

La liste déroulante avec une liste de masques ou de sous-chaînes vous permet de saisir les filtres requis pour le traitement du fichier source, leur nombre total ne pouvant dépasser 32 pour la version gratuite et 256 pour la version payante. Par défaut, cette liste contient 30 domaines (com /,. Net /,. Org /,. Info /,. Gov /,. Edu /,. Mil /,. Biz /,. Co /,. Xxx /,. tv /,. ru /,. ua /,. by /,. cz /,. bg /,. sk /,. kz /,. es /,. de /,. fr /,. uk /,. eu / ,. pl /,. ca /,. ch /,. cn /,. jp /,. it /,. kr /), l'utilisateur peut entrer d'autres valeurs. Chaque nouveau masque doit commencer sur une nouvelle ligne.

Champ de réglage de la fréquence d'actualisation des statistiques dans la ligne d'information. Pour y accéder, la fenêtre principale doit être agrandie horizontalement jusqu'à ce que le Feedback Intensity (lines) apparaît. La valeur par défaut de ce champ est 100, en d'autres termes, le programme met à jour les statistiques toutes les 100 lignes traitées du fichier source. Si vous réduisez la valeur, les statistiques seront mises à jour plus fréquemment si vous l'augmentez moins souvent, mais cela permettra d'augmenter les performances lorsque vous travaillez avec des bases de données volumineuses. L'intensité de la rétroaction peut être modifiée à tout moment, aussi bien au début du traitement du fichier qu'au cours du processus de tri.

(Fig. 6. Champ changer les statistiques de taux de rafraîchissement)

Les lignes d'information contient le nombre total de lignes traitées et la vitesse moyenne du programme, c'est-à-dire le nombre de lignes traitées par seconde (Average Speed ​​(links / second)).

Lorsque l'application se ferme normalement (avec le bouton de fermeture dans le système d'exploitation ou en appuyant sur la combinaison de touches appropriée), le programme crée un fichier de configuration (StringMaster.ini), qui enregistre la plupart des informations entrées par l'utilisateur: le nom du fichier choisi pour le traitement et son chemin d'accès complet, le contenu de la ligne de préparation de liens avec le champ de la liste des masques, les chemins d'accès et les noms des fichiers créatifs avec leurs résultats de tri et la valeur de l'intensité de l'enquête. Ce fichier indique également si le codage Unicode et l'utilisation de sous-chaînes au lieu de masques sont activés, ainsi que la taille de la fenêtre définie par l'utilisateur. La prochaine fois que vous lancerez String Master, il lira automatiquement ces données à partir du fichier de configuration.

L'option de saisie du journal et, si nécessaire, de la taille du tampon de chaîne doit être définie manuellement à chaque redémarrage du programme: lorsque vous démarrez le programme, la possibilité de saisir le journal est désactivée par défaut, la taille du tampon est de 10 000 lignes.

Le fichier de configuration peut être édité manuellement à l'aide de n'importe quel éditeur de texte. Pour réinitialiser tous les paramètres, supprimez simplement le fichier ini. Dans ce cas, lorsque vous lancerez le logiciel String Master, il sera lancé avec tous les paramètres définis aux valeurs par défaut.

Modes de traitement des menus et des fichiers

Le menu String Master’s est divisé en plusieurs catégories thématiques. Outre la sélection de l'aide et la fermeture rapide de la fenêtre de l'application, il existe trois autres groupes d'éléments. Le premier groupe permet de sélectionner l'un des quatre modes de tri, le mode de préparation de ligne et l'un des deux modes de cryptage. Le second groupe contient trois points pour la collecte d'informations statistiques et permet d'estimer la taille des fichiers résultants et le nombre d'occurrences des masques, ce qui est utile lorsque vous travaillez avec de grandes quantités de données d'entrée. Le troisième groupe comprend les options de codage Unicode, l'utilisation de sous-chaînes au lieu de masques et la saisie du journal de traitement par le programme. Chacun des éléments du menu peut être activé par une touche de raccourci ou une combinaison de touches, ce qui rend le programme simple et intuitif.

(Menu Fig. 7. String Master’s)

About (F1) - ouvre la fenêtre d'informations contenant des informations sur la version, la date de publication et l'adresse électronique de l'auteur du programme.

Une fois que l'utilisateur a sélectionné un fichier à traiter, définit toutes les sous-chaînes ou masques requis dans le champ approprié, puis sélectionne l'un des modes de division (Split by Masks - Many, Split by Masks - Single, Split by Random - Single, Split by Black and White), de préparation de chaîne ou de cryptage (Hash Strings md5, Hash Strings SM-hash), le programme commence à analyser le fichier ligne par ligne, en vérifiant la conformité de chaque composant des lignes avec les paramètres définis et en affichant les informations dans les fichiers résultants .

Lorsque Split by Masks - Many (F2) est sélectionné, les fichiers sont créés en fonction du nombre de masques / sous-chaînes. chaque fichier reçoit un nom composé du nom du fichier source et du numéro de tri du masque ou de la sous-chaîne. Lorsque vous nommez le fichier source base.txt et tous les liens affichés dans les sous-chaînes par défaut contenant «. Com /»,, ils seront enregistrés dans un fichier nommé base.txt.1.txt;, utilisé dans le répertoire 1. Dans le cas d'une correspondance, le fichier source de chaîne sera copié dans tous les fichiers contenant les masques / sous-chaînes correspondants. Si, en outre, des lignes ne correspondant à aucun masque ou sous-chaîne sont placées dans un fichier portant le nom de la source et l'index 0.

Exemple: Si deux occurrences sont trouvées dans l’une des lignes «. Net /» - et base.txt.2.txt;, elles se trouveront dans «. org /» - et base.txt.3.txt,.

Lorsque vous utilisez - «. Com /», le numéro et les noms des fichiers créés sont similaires, mais si une ligne correspondant à plusieurs sous-chaînes ou masques est trouvée, elle sera placée uniquement dans le fichier avec un masque placé plus haut dans la liste.

Exemple: Si deux occurrences sont trouvées dans l’une des lignes «. Net /», et base.txt.1.txt,, il n’obtient que base.txt.2.txt. mais n’entre pas dans Split by Masks - Single (F3).

Avec - «. Com /», le programme ne créera que deux fichiers - index 0 et index 1. Dans le fichier index 1, seront placées les lignes de données source, qui coïncideront avec au moins un des masques ou sous-chaînes spécifiés; l'index 0 fichier obtiendra tous ceux pour lesquels il n'y avait aucune correspondance.

Le mode «. Net /», est conçu pour diviser des fichiers volumineux en parties avec mixage automatique. Dans ce cas, tous les masques sont ignorés et le programme crée 32 fichiers: chaque ligne du fichier source aura une probabilité égale d’entrer dans l’un d’eux.

En sélectionnant base.txt.1.txt,, l'utilisateur peut attribuer le formulaire unique requis à une liste de liens (appelée prétraitement). Dans les versions précédentes du logiciel, cette option était utilisée avec les modes de tri permettant de gagner beaucoup de temps, mais elle pouvait également entraîner la perte de liens (par exemple, lors de la réduction du nombre de liens au signe "?" Dans la base). , toutes les lignes ne contenant pas ce caractère sont placées dans un fichier avec un index nul et peuvent être perdues lorsqu’elles sont combinées avec une autre base de préparation avec d’autres modes de traitement). Le prétraitement utilisé en tant que procédure distincte permet d'éviter de telles erreurs. De plus, il est bon de voir une version non finie avant de créer un fichier de données crypté.

Tous les masques et sous-chaînes de ce mode sont ignorés par le programme. Une séquence de caractères prédéfinie est utilisée dans le champ base.txt.2.txt., où:

• Premier caractère - nécessaire pour trouver les caractères dans le fichier, qui sera le lieu de division de la chaîne;
• Deuxième caractère - compteur d'entrées du caractère spécifié;
• Troisième caractère - vaut 0 ou 1. Si c'est 0, l'entrée du caractère se trouve au début de la chaîne. Si 1, la fin;
• Quatrième marque - peut être 0 ou 1. Si c'est 0, toutes les données de la chaîne du début au caractère de saisie sont supprimées. Si 1, alors du personnage à la fin;
• Cinquième caractère - vaut 0 ou 1. S'il vaut 0, le caractère d'entrée est inclus dans la ligne du fichier résultant. Si 1, alors exclu.

Exemple 1: Si, dans les paramètres de préparation d’URL, la valeur est Split by Black and White (F4), des liens tels quehttp://ru.someforum.com/index.php?showtopic=10358&st=40&#entry136670 sera réduit à la forme http://ru.someforum.com, parce que:

• Le caractère «/» est recherché;
• La troisième entrée du caractère est recherchée;
• La ligne est vérifiée depuis le début;
• toutes les données qui suivent le caractère saisi sont supprimées;
• Le caractère d'entrée lui-même n'est pas inclus dans le fichier de sortie.

Exemple 2: Si, dans les paramètres de préparation d’URL, la valeur est Split by Random - Single (F5), des liens tels que http://music.bla.bla.ru.someforum.com sera converti en ru.someforum.com, parce que:

• Le caractère «.» Est recherché;
• La première entrée du caractère est recherchée;
• La ligne est vérifiée à partir de la fin;
• toutes les données après la suppression du caractère saisi (lors de la vérification de droite à gauche, il s'agit de la même partie du lien «http: //music.bla.bla»)
• Le caractère d'entrée lui-même n'est pas inclus dans le fichier de sortie.

Dans ce cas, il y a effacement des liens des sous-domaines.

Exemple 3: Si dans l'URL Préparer Paramètres, valeur facturée Prepare Strings (F6), un type de lien http://ru.someforum.com/index.php?showtopic=10358&st=40&#entry136670 prendre la forme http://ru.someforum.com/index.php, parce que:

• Le caractère «?» Est recherché;
• La première entrée du caractère est recherchée;
• La ligne est vérifiée depuis le début;
• toutes les données après la suppression du caractère saisi
• Le caractère d'entrée lui-même n'est pas inclus dans le fichier de sortie.

Ce traitement supprime les paramètres supplémentaires du script.

Avec le String Prepare Settings, l'utilisateur peut chiffrer chaque ligne de l'algorithme md5. Ce programme crée un fichier unique dans lequel tous les hachages des lignes du fichier source seront placés. Ceci est utile lorsque plusieurs utilisateurs souhaitent comparer leurs bases de lignes, sans se révéler leur contenu direct, ainsi que pour vendre les bases.

Mode de cryptage /3010,, contrairement au mode précédent, il permet de spécifier la longueur de hachage. Étant donné que l'utilisation de la longueur complète MD5 dans le traitement de petits fichiers n'est pas pratique, réduire la longueur du hachage augmentera souvent la vitesse du programme et la taille du fichier de sortie contenant les valeurs de chaîne cryptées. Il est recommandé d’utiliser un hachage plus long lorsque vous travaillez avec de grandes quantités d’informations, car cela vous évitera des conflits potentiels.

(Fig. 8. Spécification de la longueur du hachage pour le cryptage)

M e n u. Modes pour obtenir des statistiques et des options

Outre les méthodes de base pour travailler avec un fichier dans .3110,, l'utilisateur peut également bénéficier de plusieurs modes statistiques supplémentaires. Pour les sélectionner, l'utilisateur peut utiliser les éléments de menu ?1010,.

Ces modes sont conçus pour déterminer la taille des fichiers de sortie et le nombre d'entrées en fonction des paramètres définis par l'utilisateur. Le principe de fonctionnement est similaire à celui des algorithmes de tri, mais les fichiers de sortie contiennent des statistiques au lieu des chaînes appropriées aux masques, ce qui accélère considérablement les performances car, dans ce cas, les performances ne sont limitées que par la vitesse de lecture ligne par ligne. Le nom du fichier de sortie est composé du nom du fichier d'origine avec l'addition de «stata» et du mode de statistique sélectionné. Par exemple, si le nom du fichier est base.txt en mode Fractionner par masques - Nombreux (stata), le fichier résultant s'appellera base.txt.stata.method1. Dans le fichier de statistiques, à part les masques comptés, sont saisies les données relatives au nombre total de lignes dans le fichier source et au temps consacré à l'analyse. La possibilité de collecter des statistiques est extrêmement utile lorsque vous travaillez avec de grandes bases de données de liens.

(Fig. 9. Exemple de fichier de sortie en mode stata)

Quel que soit le mode sélectionné pour utiliser les fichiers, l'utilisateur peut choisir des options supplémentaires: utilisation du codage Unicode, utilisation de sous-chaînes au lieu de masques (activés par défaut), permettant au programme de fonctionner.

L'option Hash Strings md5 (F7) peut traiter des fichiers avec le codage UTF-8 (format de transformation Unicode, compatible avec le codage 8 bits du texte) sous un drapeau activé et le codage ANSI s'il est désactivé. Ainsi, avec Hash Strings SM-hash (F8), il n'est pas nécessaire d'utiliser un programme tiers pour enregistrer le texte dans un codage approprié.

Avec l'option String Master, l'utilisateur ne peut utiliser que les sous-chaînes pour le tri. Dans ce cas, l'utilisation de Split by Masks - Many (stata) (Shift+F2), Split by Masks - Single (stata) (Shift+F3), Split by Black and White (stata) (Shift+F4) n'est pertinente que si elle peut apparaître dans un fichier texte source. L'option Utiliser une sous-chaîne sans masque est activée par défaut. Si elle est désactivée, le mode Masques est activé, dans lequel le caractère Unicode mode (Ctrl + F1) a une application plus large.

L'option String Master permet à l'application de conserver un protocole de travail d'enregistrement contenant des informations sur la date et l'heure du début et de la fin des fichiers sélectionnés, les méthodes de tri et de cryptage, ainsi que le nom du fichier et son chemin d'accès complet.

(Fig. 10. Minutes de travail du programme)

Programmes de travail et options avancées

Lorsque vous sélectionnez le mode de traitement souhaité dans le menu ou que vous appuyez sur la touche de raccourci correspondante (touche de raccourci), le programme démarre et la barre d'état affiche l'avancement du travail et la vitesse de traitement de la ligne.

(Fig. 11. Progression d'une tâche)

Après le tri, une fenêtre de rapport apparaîtra pour indiquer à l'utilisateur que le travail a été effectué.

(Fig. 12. Rapport d'achèvement du programme)

Si l'utilisateur pense que les noms de fichier composés du nom de fichier source et de l'index numérique ne sont pas pratiques, il peut configurer tous les noms manuellement. Pour ce faire, il doit déplacer le côté droit de la zone de défilement de la liste déroulante avec la liste des masques à gauche.

(Fig. 13. Affichage du champ de configuration des noms de fichiers)

Changer les noms est utile lorsque vous travaillez avec des fichiers volumineux, car en changeant l'adresse, vous pouvez enregistrer des fichiers sur un disque physique différent. Lorsque vous commencez à utiliser un champ de nom de fichier, celui-ci est vide. Les valeurs qu'il contient apparaissent lorsque vous sélectionnez un fichier source dans le champ Fichier source. Lors de la fermeture standard du programme, les noms de fichier spécifiés par l'utilisateur sont stockés dans le fichier de configuration. Toutefois, lorsqu'une nouvelle base de données est sélectionnée pour le tri à l'aide du bouton Use Substring not Mask (Ctrl + F2), ils sont réinitialisés aux valeurs par défaut.

(Fig. 14. Champ caché pour définir les noms de fichier)

Caractéristiques importantes du programme

Les principales caractéristiques du programme sont les suivantes: le traitement secondaire du même fichier n’écrase pas les fichiers de sortie mais les ajoute. Par conséquent, lorsque vous travaillez avec des fichiers volumineux, dont le traitement prend beaucoup de temps, ne l'oubliez pas.

À chaque démarrage du programme, la valeur de la mémoire tampon est fixée à 10 000 lignes, l'option de journalisation est désactivée. Si l'utilisateur doit conserver un enregistrement ou utiliser la valeur du tampon de chaîne différente de la valeur par défaut, les paramètres appropriés devront être réinitialisés à chaque démarrage du programme. Toutes les autres modifications enregistrées dans le fichier ini sont lues automatiquement au début de «*».

L'élément de menu «*» ou le fait d'appuyer sur Enable Application Log ferme immédiatement le programme. L'enregistrement des données actuelles de la mémoire tampon dans le fichier de sortie est alors effectué et les réglages du fichier de configuration ne sont pas effectués. En cas d'échec ou de nécessité de fermer le programme, la valeur de la mémoire tampon doit être réduite. La possibilité d'une sortie d'urgence peut être appliquée lorsque le programme "se fige", le reste du temps. String Master doit être fermé de manière standard.

Conclusion

Bien entendu, «…» ne convient pas uniquement aux listes de liens et à diverses bases de données de forums et de sites Web. Grâce à un travail stable et rapide avec des fichiers volumineux, ce programme peut avoir de nombreuses autres utilisations.

String Master.