Веб коллекция Narod.Ru

Описание

Коллекция представляет собой псевдослучайную выборку из примерно 3% сайтов домена narod.ru с исключением всех сайтов, созданных исключительно с использованием стандартных шаблонов narod.ru. В набор включались только HTML документы. Размер ее по отношению ко всему российскому сегменту Интернет невелик, порядка 0.12-0.30%.

Статистика по набору данных

• Объем HTML данных: 7+ Gb
• Число страниц: 728 000+
• Число сайтов: 22 000
• Кодировка: cp1251 (исключения можно трактовать как мусор)

Права на использование

Права на использование в целях РОМИП предоставлены компанией Яндекс, являющейся владельцем коллекции. Для получения доступа к коллекции необходимо подписать соглашение об использовании.

Формат и парсер

Коллекция распространяется в виде xml файлов, определенного формата, которые разделены на 2 группы - narod.* и narod_training.*. Файлы из второй группы содержат документы, относящиеся к обучающему множеству, использующемуся для дорожки классификации Веб документов.

Список дорожек, в которых использовалась коллекция

• поиск по коллекции Веб документов
  • 2003
  • 2004
  • 2005
  • 2006
• поиск по смешанной коллекции
  • 2005
  • 2006
• поиск по документу-образцу
  • 2005
  • 2006
• классификация Веб-сайтов
  • 2003
  • 2004
  • 2005
  • 2006
• классификация Веб-страниц
  • 2005
  • 2006
• фактографический поиск
  • 2004
• вопросно-ответный поиск
  • 2006
• контекстно-зависимое аннотирование текстовых документов
  • 2005
  • 2006
  • 2007
• Дорожка вопросно-ответного поиска
  • 2006