Common Crawl (literalmente rastreo común) es una organización sin fines de lucro 501 (c) (3) que rastrea la web y proporciona libremente sus archivos y conjuntos de datos al público. El archivo web de Common Crawl consta de petabytes de datos recopilados desde 2008. Completa el rastreo en general una vez al mes.
Common Crawl fue fundada por Gil Elbaz. También están Peter Norvig y Joi Ito como asesores de la organización sin fines. Sus rastreadores (crawlers) respetan las políticas nofollow y robots.txt. El código fuente usado para procesar el conjunto de datos de Common Crawl es abierto y se encuentra disponible públicamente.
Historia Amazon Web Services comenzó a alojar el archivo de Common Crawl a través de su programa de conjuntos de datos públicos en 2012.
La organización comenzó a publicar archivos de metadatos y la salida de texto de los rastreadores junto con los archivos .arc en julio de ese año. Los archivos de Common Crawl solo incluían archivos .arc anteriores.
En diciembre de 2012, blekko donó los metadatos del motor de búsqueda Common Crawl blekko, el recopilado de los rastreos que realizó de febrero a octubre de 2012. Los datos donados ayudaron a Common Crawl a "mejorar su rastreo y evitar el spam, la pornografía y la influencia de un SEO excesivo".
En 2013, Common Crawl comenzó a usar el webcrawler Nutch de Apache Software Foundation en lugar de un rastreador personalizado. Common Crawl cambió de usar archivos .arc a archivos .warc a partir de noviembre de 2013.
Historial de datos de Common Crawl Los siguientes datos se han recopilado del blog oficial de Common Crawl FechaTamaño en TiBMiles de millones de páginasComentariosOctubre de 20223803,5Rastreo realizado en septiembre y octubre de 2022Abril de 20213203,1Noviembre de 20182202,6Octubre de 20182403,0Septiembre de 20182202,8Agosto de 2018Julio de 20182553,25Junio de 20182353,05Mayo de 20182152,75Abril de 20182303,1Marzo de 20182503,2Febrero de 20182703,4Enero de 20182703,4Diciembre de 20172402,9Noviembre de 20172603,2Octubre de 20173003,65Septiembre de 20172503,01Agosto de 20172803,28Julio de 20172402,89Junio de 20172603,16Mayo de 20172502,96Abril de 20172502,94Marzo de 20172503,07Febrero de 20172503,08Enero de 20172503,14Diciembre de 2016 -2,85Octubre de 2016 -3,25Septiembre de 2016 -1,72Agosto de 2016 -1,61Julio de 2016 -1,73Junio de 2016 -1,23Mayo de 2016 -1,46Abril de 2016 -1,33Febrero de 2016 -1,73Noviembre de 20151511,82Septiembre de 20151061,32Agosto de 20151491,84Julio de 20151451,81Junio de 20151311,67Mayo de 20151592,05Abril de 20151682,11Marzo de 20151241,64Febrero de 20151451,9Enero de 20151391,82Diciembre de 20141602,08Noviembre de 20141351,95Octubre de 20142543,7Septiembre de 20142202,8Agosto de 20142002,8Julio de 20142663,6Abril de 20141832,6Marzo de 20142232,8Primer rastreo de NutchEnero de 20141482,3Rastreos realizados mensualmenteNoviembre de 20131022Datos en formato de archivo WarcJulio de 2012 - -Datos en formato de archivo ArcEnero de 2012 - -Conjunto de datos público de Amazon Web ServicesNoviembre de 2011405Disponible por primera vez en Amazon
Premio Norvig Web Data Science En consonancia con SURFsara, Common Crawl patrocina el Premio Norvig Web Data Science, un concurso abierto a estudiantes e investigadores en Benelux. El premio lleva el nombre de Peter Norvig, quien también preside el comité de evaluación del premio.
Referencias
Enlaces externos
Common Crawl en California, Estados Unidos Common Crawl, repositorio de GitHub con el rastreador, bibliotecas y código de ejemplo Grupo de discusión de Common Crawl Blog de Common Crawl
Categoría:Iniciativas de archivado de páginas web