• Encerrar el <ul> en un <span> y poner el onmouseout en el <span> con la función Js, pero no funciona como debe (pasas el mouse por encima del primer <li> y todo bien. Pasas el mouse cualquiera de los siguientes <li> y se cierra ._.
• Poner el onmouseout en el propio <ul>. Pero no funciona.

Prueba a meter el ul en un div, a veces los elementos inline dan esta clase de fallos.
Pero, si nos dices qué quieres hacer exacamente, a lo mejor podemos pensar una solución alternativa

A ver, aclaremos. Quieres que la lista se abra al poner el ratón encima... ¿¡Cómo!? Si la lista está oculta. Debes usar algo que esté visible y mostrar los LIs...
Te dejo un código con jQuery, es más sencillo que manipular el DOM a mano. Aunque tendrás que incluir la libreria.

Código: [Seleccionar]

// en el head
<script type="text/javascript">
$(document).ready(function() {
$('#divlista > ul > li.visible').hover(function() {
$(this).siblings().show();
}, function() {
$(this).siblings().hide();
});
});
</script>
// html
<div id="divlista">
<ul>
<li class="visible">abre la lista</li>
<li>...</li>
...
</ul>
</div>

Algo así es lo que quieres?

Como lo tienes puesto ahora?

Digo que me enseñes el código que tienes ahora ._.

Y el javascript...?? :/

Si tienes ese HTML basta con algo así:

Código: [Seleccionar]

<ul><a onmouseover="menu(this);">asdasd</a>
<li>Opcion 1</li>
<li>Opcion 2</li>
<li>Opcion 3</li>
</ul>
Nota que con this "envío el elemento" a la función

Código: [Seleccionar]

function menu(link) {
if($(link).siblings('li').is(':hidden')) { // si los li están ocultos
$(link).siblings('li').show(); // los mostramos
// aquí maneja las clases como quieras
} else { // si los lis están visibles
$(link).siblings('li').hide(); // los ocultamos
}
}

Aunque... me suena que el HTML es otro porque ahí veo mucha clase :/

Are you fucking kidding me? Pues haz <ul><a>...</a><div id="qtj"><li>...</li><li>...</li></div></ul>
._. Pero es una chorrada pudiendo hacer lo que te he puesto.