Los mensajes privados, simplemente, es un enviar.php que sea un formulario, y introduzca los datos en la db, y el leer.php que buscaría por el nombre del receptor, y en caso de haber, pues los mostraría, sino con un else, diria que no hay mensajes.

Lo de banear ips ni idea...

Porcierto, te recomiendo hacer tu sistema de usuarios de 0, es mejor...

Mira , es cierto que aqui hay un tutorial de sistema de usuarios. si no me equivoco está hecho por Kikers y luego si usas el buscador (Que para algo está) encontrarás un sistema de mensajes privados que con sustituir una linea lo tendrás, pero mirate el tuto

Lo de las IP'S es muy sencillo , crea una tabla en la base de datos que se llame IP y luego haces un codigo php que diga esto :

"Si en la tabla ip es igual a la ip del visitante, mostrará : no tienes haceso a esta pagina web , de lo contrario mostrae este codigo"


Espero que te haya sido de ayuda