Puedes crearlo tambien con html5, y php.
Para los botones, si lo queres con una imagen puede utilizar onclick y javascript. algo asi:
<form><input onClick="" type="image" name="Icono1"></form>
Para hacer las funciones, como los iconos, los tipo de letras, etc utiliza php.Espero haberte ayudado
Saludos
Primero: No se necesita html5.
Segundo: Mucho menos php.
Tercero: Estas hablando mas bien de un sistema de BBCodes, no de un editor WYSIWYG.
---
Como ya dijeron , usa un editor WYSIWYG. Lo que hace es "modificar" un textarea por medio del javascript devolviendo el texto en html.
Por lo general para instalar un textarea enriquecido o editor WYSIWYG solo es necesario incluir el archivo javascript y cambiar el valor del nombre o id (Diferente para cada modelo, el autor lo deja a su preferencia).
Personalmente, no es muy recomendable insertar esta clase de editores en lugares que son visitados por tus usuarios (ya sean comentarios u otros usos), ya que suelen ser muy inseguros.
Saludos.