Comunidad PHPeros
Lenguajes => General => Mensaje iniciado por: Animus en 06 de Noviembre de 2013, 10:15:39 am
-
Bueno, como indica el titulo, estoy desarrollando una araña que recorre toda la web. Sí, algo parecido como Google, altervista, duckgo, bueno buscadores. El fin de ésto es aprender y crear un proyecto libre y opensource en el cual TODOS pueden participar y ayudar.
¿Que hace?
- A partir de una web inicial extrae todos los enlaces, los valida, los comprueba si son accesibles y los añade a una matriz. Entonces de éstos enlaces obtenidos visitamos otro que cogemos aleatoriamente de la matriz, así infinitamente recopilando enlaces.
Características a implementar.
- Buscar enlaces según un/varios criterio(s)/categoría(s)/keyword(s).
-> Ejemplo, a partir del keyword 'download' te encuentre todos los sitios que ofrezcan descargas, ésta es una buena herramienta si eres un blogero y eres perezoso, dejas la araña encendida te busca todos los enlaces por ejemplo que tengan los keywords 'informática' y 'descargas' y tendrás un montón de fuentes para cosas que publicar en tu blog, ésta idea me fascina, se podría conectar al blog directamente y generar mucho contenido en poco tiempo.
Popularidad (?)
-> Sí, en éste caso sería cuantas veces encontramos X enlace en toda la web, si alguien me da ideas sobre como implementar ésta funcionalidad estaría agradecido, una idea o algo.
Un largo etc..
Si, sobre la marcha me vendrán ideas. Ustedes pueden aportar.
Colaborar?
Encantado, todos pueden re*****, lo único que necesitas es ganas, git, y conocimientos mínimos en Python, y empiezas haciendo un pull en github.
Código: https://github.com/redigaffi/Web-Spider
-
Buen proyecto, la idea me gusta muchísimo, el problema es que no dispongo de conocimiento de python pero si pudiera ayudar en otra cualquier cosa, avisame. Un saludo.
-
Gracias por el comentario, ya aportas mucho con eso. De todos modos ideas puedes aportar y aparte, si te interesa aprender Python la mejor forma es practicándolo, bueno así es en todos los lenguajes, gracias!
-
Debido a tu post ya andaba buscando información de python y encontré un buen curso en maestrosdelweb, me pondré a poco a poco y veré que puedo ir haciendo.
Un saludazo.
-
Suerte, aún que no la necesitarás seguro!