Хеширование: какие функции для чего подходят

Хеш-функция превращает данные любой длины в строку фиксированной длины. Один и тот же вход всегда даёт один и тот же хеш, а малейшее изменение входа меняет результат до неузнаваемости. На этом построены проверка целостности файлов, git, подписи, кэши и хранение паролей. Но для каждой задачи подходит своя функция, и ошибка в выборе стоит дорого.

Свойства криптографического хеша

Коллизии существуют всегда: входов бесконечно много, а хешей конечное число. Стойкость означает, что найти их вычислительно невозможно.

sha256("hello")  = 2cf24dba5fb0a30e26e83b2ac5b9e29e1b161e5c1fa7425e73043362938b9824
sha256("hello.") = 1589999b0ca6ef8814283026a9f166d51c70a910671c3d44049755f07f2eb910

Сравнение алгоритмов

MD5 и SHA-1 до сих пор годятся там, где нет злоумышленника: найти случайно испорченный при копировании файл, ключ для кэша, поиск дубликатов. Для подписей, сертификатов и всего, где кто-то может специально подобрать данные, — только SHA-256 и новее.

Проверка файлов

sha256sum ubuntu.iso                       # посчитать
sha256sum -c SHA256SUMS --ignore-missing   # сверить со списком
shasum -a 256 file.zip                     # то же на macOS
md5sum file                                 # быстро найти битую копию
b2sum file                                  # BLAKE2b
certutil -hashfile file.zip SHA256         # Windows
Get-FileHash file.zip -Algorithm SHA256    # PowerShell

Сверка хеша защищает от повреждения при скачивании. От подмены она защищает, только если сам хеш получен из надёжного источника или подписан: злоумышленник, подменивший файл на сервере, подменит и файл с хешами.

Хранение паролей

Обычные хеш-функции созданы быстрыми. Для паролей это плохо: видеокарта перебирает миллиарды вариантов SHA-256 в секунду, и короткий пароль из утёкшей базы восстанавливается за минуты. Поэтому для паролей используют специальные медленные функции с солью.

Соль — случайная строка, уникальная для каждого пользователя. Она хранится рядом с хешем и не секретна. Её задача — чтобы одинаковые пароли давали разные хеши и чтобы нельзя было заранее посчитать таблицу хешей для всех паролей сразу.

# pip install argon2-cffi
from argon2 import PasswordHasher
ph = PasswordHasher()
stored = ph.hash("correct horse battery staple")   # в строке уже есть соль и параметры
ph.verify(stored, "correct horse battery staple")  # True или исключение

Длинный случайный пароль надёжнее любых хитростей с хешированием. Его можно сделать в генераторе паролей.

HMAC: хеш с ключом

Если нужно убедиться, что сообщение пришло от того, кто знает секрет, используют HMAC. Его считают для вебхуков, подписанных ссылок, токенов вроде JWT с алгоритмом HS256.

printf '%s' '{"event":"paid"}' | openssl dgst -sha256 -hmac "$WEBHOOK_SECRET"

import hmac, hashlib
sig = hmac.new(secret, body, hashlib.sha256).hexdigest()
hmac.compare_digest(sig, received_sig)   # сравнение без утечки по времени

Некриптографические хеши

Для хеш-таблиц, шардирования и контрольных сумм нужна скорость, а не стойкость.

Их можно подобрать специально, поэтому для безопасности они не годятся.

Частые ошибки

• Хеш — не шифрование. Его нельзя «расшифровать». Если сервис может прислать вам ваш пароль, он хранит его не хешем.
• Хеш — не Base64. Base64 обратим и ничего не скрывает, это просто запись байт текстом.
• Хеш текста зависит от кодировки и переводов строк. Строка с \r\n и \n даст разные хеши, как и одна строка в UTF-8 и Windows-1251. При сравнении хешей между системами сначала договоритесь о байтах.
• echo добавляет перевод строки. echo hello | sha256sum считает хеш от hello\n. Используйте printf '%s' hello или echo -n.