Hash rapide

[Droopy]

Juste un petit code pour hasher un fichier rapidement.
Peut permettre de trouver rapidement des fichiers identiques

Code : Tout sélectionner

Procedure.s FastHash(file.s,Sample=3,SampleSize=1048576)
  
  ;/ Default = hash @ 1/3 1/2 2/3 with sample of 1Mb
  
  Size.q=FileSize(file)
  
  If Size>Size/(Sample+1)*Sample+SampleSize; Check buffer size
    fid=ReadFile(#PB_Any,file)
    If fid
      *buffer=AllocateMemory(SampleSize)
      
      For n=1 To Sample
        ;/ Hash the Sample
        FileSeek(fid,Size/(Sample+1)*n)
        ReadData(fid,*buffer,SampleSize)
        Hash.s+MD5Fingerprint(*buffer,SampleSize)
      Next

      ;/ Add file size to hash
      Hash+Str(Size)
       
      ;/ free buffer & file
      FreeMemory(*buffer)
      CloseFile(fid)
      
      ProcedureReturn MD5Fingerprint(@Hash,Len(Hash))
    EndIf
  EndIf
  
EndProcedure

fichier.s="Z:\yyyyyyy.avi"

start=ElapsedMilliseconds()
Fast$ = "FastHash "+FastHash(fichier)+" en "+Str(ElapsedMilliseconds()-start)+" ms"

start=ElapsedMilliseconds()
Md5$ = "MD5 "+MD5FileFingerprint(fichier)+ " en "+Str(ElapsedMilliseconds()-start)+" ms"

MessageRequester("Resultat", Fast$ + Chr(10) + Md5$, 0)

[Ar-S]

Très efficace ! Merci !

Note : Tu pourrais modifier la fin de ton code pour un résultat "plus vrai" sans le debug

Code : Tout sélectionner

start=ElapsedMilliseconds()
Fast$ = "FastHash "+FastHash(fichier)+" en "+Str(ElapsedMilliseconds()-start)+" ms"

start=ElapsedMilliseconds()
Md5$ = "MD5 "+MD5FileFingerprint(fichier)+ " en "+Str(ElapsedMilliseconds()-start)+" ms"

MessageRequester("Resultat", Fast$ + Chr(10) + Md5$, 0)

[Droopy]

Exemple modifié, erci Ar-S.

[Ar-S]

Vu son efficacité, tu m'autorises à faire un vérificateur de fichier (comme mon MD5 File Validator ?) utilisant ton algo ?

[Droopy]

Algo modifié : Choix du nombre d'échantillons.

Vu son efficacité, tu m'autorises à faire un vérificateur de fichier (comme mon MD5 File Validator ?) utilisant ton algo ?

Bien entendu.

[Droopy]

Code modifié : Ajout de la taille du fichier dans le calcul du hash

[Ar-S]

En gros ce fasthash prend 1, 2 ou 3 morceaux de 1mo d'un plus gros fichier et calcul un hash unique avec ces 3 bouts ?

[Droopy]

En gros ce fasthash prend 1, 2 ou 3 morceaux de 1mo d'un plus gros fichier et calcul un hash unique avec ces 3 bouts ?

C'est ça, tu as tout compris.

Si FastHash trouve 2 hash identiques, MD5 peut être utilisé lors d'une 2° phase afin de s'assurer qu'ils le sont réllement.
Le gain de temps devrait être appréciable.

[Ar-S]

Je n'ai compris comment il se comporte avec des fichiers plus petit qu'1 mo. (j'ai vu que ça marche mais j'aimerai piger).

Un petit truc me chiffonne mais ce n'est pas de ta faute, c'est la commande MD5FileFingerprint() à laquelle il manque un retour de message d'erreur (hors debug) si le fichier est inexistant.

Ton exemple le prouve d'ailleurs avec fichier.s="Z:\yyyyyyy.avi"

Donc faudrait ajouter une petite vérif dans le code principale.

Code : Tout sélectionner

fichier.s="Z:\yyyyyyy.avi"

Verif.q = FileSize(fichier)
If Verif > 0
  
  start=ElapsedMilliseconds()
  Fast$ = "FastHash "+FastHash(fichier)+" en "+Str(ElapsedMilliseconds()-start)+" ms"
  
  start=ElapsedMilliseconds()
  Md5$ = "MD5 "+MD5FileFingerprint(fichier)+ " en "+Str(ElapsedMilliseconds()-start)+" ms"
  
  MessageRequester("Resultat", Fast$ + Chr(10) + Md5$, 0)
  
Else
  
  MessageRequester("Erreur","Le fichier est introuvable !",#MB_OK|#MB_ICONEXCLAMATION)
  
EndIf

[Droopy]

Je teste si la taille de l'échantillon est adaptée à la taille du fichier.
En effet sur un fichier de 1mo, on ne peut pas lire 3 bandes de 1mo à respectivement 1/3 1/2 2/3.
Dans ce cas la fonction renvoie une chaine vide (signe d'erreur)
La présence du fichier est donc testée indirectement.

[G-Rom]

merci Droopy.

[Kwai chang caine]

Cool pour des doublons de photos avec un nom different
Merci DROOPY

[MLD]

Salut KCC
Heureux de te lire sur ce Fofo.

[Kwai chang caine]

Merci mon grand