Autor Tema: [Python] Araña Web  (Leído 1814 veces)

Desconectado Animus

  • PHPero Avanzado
  • ****
  • Mensajes: 273
  • Karma: 1
  • Sexo: Masculino
  • Aprende a aprender, el resto vendrá solo.
    • Ver Perfil
[Python] Araña Web
« en: 06 de Noviembre de 2013, 10:15:39 am »
Bueno, como indica el titulo, estoy desarrollando una araña que recorre toda la web. Sí, algo parecido como Google, altervista, duckgo, bueno buscadores. El fin de ésto es aprender y crear un proyecto libre y opensource en el cual TODOS pueden participar y ayudar.

¿Que hace?
- A partir de una web inicial extrae todos los enlaces, los valida, los comprueba si son accesibles y los añade a una matriz. Entonces de éstos enlaces obtenidos visitamos otro que cogemos aleatoriamente de la matriz, así infinitamente recopilando enlaces.

Características a implementar.
- Buscar enlaces según un/varios criterio(s)/categoría(s)/keyword(s).
-> Ejemplo, a partir del keyword 'download' te encuentre todos los sitios que ofrezcan descargas, ésta es una buena herramienta si eres un blogero y eres perezoso, dejas la araña encendida te busca todos los enlaces por ejemplo que tengan los keywords 'informática' y 'descargas' y tendrás un montón de fuentes para cosas que publicar en tu blog, ésta idea me fascina, se podría conectar al blog directamente y generar mucho contenido en poco tiempo.

Popularidad (?)
-> Sí, en éste caso sería cuantas veces encontramos X enlace en toda la web, si alguien me da ideas sobre como implementar ésta funcionalidad estaría agradecido, una idea o algo.

Un largo etc..
Si, sobre la marcha me vendrán ideas. Ustedes pueden aportar.

Colaborar?
Encantado, todos pueden re*****, lo único que necesitas es ganas, git, y conocimientos mínimos en Python, y empiezas haciendo un pull en github.

Código: https://github.com/redigaffi/Web-Spider
« Última modificación: 06 de Noviembre de 2013, 10:17:48 am por Animus »


La red social de tus sueños.


Comunidad PHPeros

[Python] Araña Web
« en: 06 de Noviembre de 2013, 10:15:39 am »

Desconectado Abeljh_92

  • PHPer@
  • **
  • Mensajes: 54
  • Karma: 0
  • Nuev@ PHPer@
    • Ver Perfil
Re:[Python] Araña Web
« Respuesta #1 en: 06 de Noviembre de 2013, 11:55:15 am »
Buen proyecto, la idea me gusta muchísimo, el problema es que no dispongo de conocimiento de python pero si pudiera ayudar en otra cualquier cosa, avisame. Un saludo.

Desconectado Animus

  • PHPero Avanzado
  • ****
  • Mensajes: 273
  • Karma: 1
  • Sexo: Masculino
  • Aprende a aprender, el resto vendrá solo.
    • Ver Perfil
Re:[Python] Araña Web
« Respuesta #2 en: 06 de Noviembre de 2013, 12:00:26 pm »
Gracias por el comentario, ya aportas mucho con eso. De todos modos ideas puedes aportar y aparte, si te interesa aprender Python la mejor forma es practicándolo, bueno así es en todos los lenguajes, gracias!


La red social de tus sueños.


Desconectado Abeljh_92

  • PHPer@
  • **
  • Mensajes: 54
  • Karma: 0
  • Nuev@ PHPer@
    • Ver Perfil
Re:[Python] Araña Web
« Respuesta #3 en: 06 de Noviembre de 2013, 12:03:47 pm »
Debido a tu post ya andaba buscando información de python y encontré un buen curso en maestrosdelweb, me pondré a poco a poco y veré que puedo ir haciendo.
Un saludazo.

Desconectado Animus

  • PHPero Avanzado
  • ****
  • Mensajes: 273
  • Karma: 1
  • Sexo: Masculino
  • Aprende a aprender, el resto vendrá solo.
    • Ver Perfil
Re:[Python] Araña Web
« Respuesta #4 en: 06 de Noviembre de 2013, 12:16:48 pm »
Suerte, aún que no la necesitarás seguro!


La red social de tus sueños.


Desconectado JohnWick7

  • PHPerit@
  • *
  • Mensajes: 1
  • Karma: 0
  • Nuev@ PHPer@
    • Ver Perfil
Re:[Python] Araña Web
« Respuesta #5 en: 03 de Octubre de 2018, 11:28:14 am »
Gracias a mi promesa.