Comment font les logiciels détecteurs de plagiat pour vérifier une quantité astronomique de sources ?

Réponse publiée sur Quora

Google marche deja pas mal : copiez une phrase de n’importe quel site et cherchez la dans Google, vous en trouverez probablement plusieurs copies identiques ou très similaires.

Le secret n’est pas dans la recherche, il est dans l’indexation du contenu. Il existe plusieurs algorithmes publiés, et probablement d’autres confidentiels, mais une idée simple est stocker uniquement la vingtaine de mots les moins fréquents d une page ou d’un gros paragraphe.

Ensuite quand on cherche une phrase, on ne la recherche que dans les pages qui contiennent le mot le moins fréquent de la phrase.

Honnêtement je ne sais pas si cet algo est utilisé, je l’ai un peu inventé maintenant sur la base de celui de Shazam

https://www.drgoulu.com/2009/07/…