Voici un bout de code adapté de Shaarli qui s'en occupe. Il est assez facile à utiliser (3 petites fonctions): http://sebsauvage.net/paste/?36dbd6c6be607e0c#M5uR8ixXo5rXBpXx32gOATLraHPffhBJEeqiDl1dMhs=
Instructions d'utilisation:
• Faites un require_once de ce script.
• à l'endroit où vous testez la validité du mot de passe:
• Si ban_canLogin()==false, l'utilisateur est banni. Ne testez même pas le mot de passe: Rejetez l'utilisateur.
• Si ban_canLogin()==true, vérifiez le mot de passe.
• Si le mot de passe est ok, appelez ban_loginOk(), sinon appelez ban_loginFailed()
La lib s'occupe de compter le nombre d'échecs et de gérer la durée de bannissement (bannissement/levée de ban).
Cette lib créé un sous-répertoire "data" qui contient les données de bannissement (ipbans.php) et un log de connexion (log.txt).

Pour fail2ban, SebSauvage a fait un tuto là: http://www.commentcamarche.net/faq/18225-utiliser-fail2ban-pour-proteger-votre-application-web