[crawler Advanced] Chrome use in crawler (required Skill)

Zsyl 2021-08-19 22:24:13 阅读数:62

crawler advanced chrome use crawler


Objectifs d'apprentissage

  1. Compris. Objet de la nouvelle fenêtre furtive
  2. Compris. chromeMoyennenetworkUtilisation de
  3. Compris. .Comment trouver l'interface de connexion

1 Nouvelle fenêtre invisible

Ouvrir le site directement dans le navigateur,Il sera automatiquement sauvegardé lors de la mise sur le site précédentcookie,Mais pour la première fois dans crawler, la page n'est pas prisecookieDe,Comment résoudre cette situation?

Utilisation de fenêtres invisibles,Ouverture du site pour la première fois,Non.cookie,Possibilité d'observer l'accès à la page,Y compris comment configurer le serveur opposécookieAu niveau local

Insérer la description de l'image ici

2 chromeMoyennenetworkPlus de fonctionnalités pour

Insérer la description de l'image ici

2.1 Perserve log

Par défaut, Après le saut de page , Demandes antérieures url L'adresse et d'autres informations disparaîtront. ,Cocherperserve log Les demandes antérieures seront conservées.
Insérer la description de l'image ici

2.2 filterFiltration

Inurl Quand il y a beaucoup d'adresses ,Ça pourrait être dansfilter Entrée moyenne urlAdresse, Pour tous url L'adresse a un certain effet de filtrage , L'emplacement est indiqué dans la deuxième image ci - dessus. 2Emplacement

2.3 Observer un type particulier de demande

Dans la deuxième image ci - dessus, 3Emplacement, Il y a beaucoup d'options , La valeur par défaut est sélectionnée all, Tous les types de demandes sont observés

Il y a beaucoup de choix à faire à ses propres fins. all Autres options à droite , Comme les options communes :

  • XHR: Dans la plupart des cas, ajaxDemande
  • JS:jsDemande
  • CSS:cssDemande

Mais la plupart du temps, nous ne pouvons pas garantir le type de demande dont nous avons besoin. , En particulier, nous ne savons pas si une demande est ajaxSur demande,Sélection directeall, Regarde de l'avant vers l'arrière. ,Parmi euxjs,css, L'image ne peut pas attendre d'être observée

Ne soyez pas effrayé par un tas de requêtes dans votre navigateur , Parmi ces demandes, on peut citer: js,css, En dehors de la demande d'image , Il n'y a pas beaucoup d'autres demandes

3 Trouver l'interface de connexion

En regardant en arrière les anciens reptiles de Renren, nous avons trouvé une interface de connexion , D'où vient cette interface? ?

http://www.renren.com

3.1 RechercheactionC'est vrai.urlAdresse

Insérer la description de l'image ici

On peut le découvrir., Cette adresse est connectée form Dans le formulaire actionCorrespondanturlAdresse, Examiner les points de connaissance à l'avant , Vous pouvez trouver l'adresse à laquelle le formulaire est soumis ,Correspondant, Données soumises , Juste besoin : Nom d'utilisateur inputDans l'étiquette,name La valeur de , Nom d'utilisateur comme valeur , Mot de passe inputDans l'étiquette,name La valeur de , Mot de passe comme valeur

Penser:

Siaction Non. url Que faire à l'adresse ?

3.2 Rechercher les logins en saisissant des paquetsurlAdresse

Insérer la description de l'image ici

Vous pouvez le trouver en saisissant le paquet ,Iciurl Paramètres dans l'adresse et le corps de la requête ,Par exemple,uniqueTimestampEtrkey Et après cryptage password

À ce stade, nous pouvons regarder l'interface de connexion de la version mobile , Est - ce la même chose?

Insérer la description de l'image ici

Peut être trouvé dans la version mobile , Paramètre toujours présent , Mais il y a moins d'arguments ,À ce moment - là.,On peut. Utiliser la version mobile comme référence , La section suivante explique comment analyser js


Résumé

  1. L'objectif principal de l'utilisation de fenêtres furtives est d'éviter la première ouverture du site cookieLa question de
  2. chromeDenetworkMoyenne,perserve log L'option permet d'observer les requêtes précédentes après un saut de page
  3. Il y a deux façons de déterminer l'adresse de connexion :
    • RecherchefromFormulaireactionDeurlAdresse
    • Obtenir par capture de paquets

Copyright:Cet article est[Zsyl]Établi,Veuillez apporter le lien original pour réimprimer,remercier。 https://fra.fheadline.com/2021/08/20210819222332741q.html