Web ARChive (Web ARChive)

Web ARChive

Расширение	.warc
MIME-тип	application/warc
Расширен из	ARC
Тип формата	Сжатие данных
Открытый формат?	Да
Сайт	iipc.github.io/warc-specifications/specifications/warc-format/warc-1.1/ Архивная копия от 26 октября 2021 на Wayback Machine

Формат архива Web ARChive (WARC) определяет метод объединения нескольких цифровых ресурсов в совокупный архивный файл вместе с сопутствующей информацией. Формат WARC является пересмотром формата ARC_IA File Format архива интернета, который традиционно использовался для хранения данных "поисковых роботов", как последовательностей блоков контента, собранных из всемирной паутины. Формат WARC обобщает старый формат, чтобы лучше поддерживать потребности архивных организаций в сборе, доступе и обмене данными. Помимо первичного контента, который записывается в настоящее время, пересмотр вмещает связанный вторичный контент, такой как назначенные метаданные, сокращенные события, обнаружение дубликатов и преобразования более поздних дат. Формат WARC вдохновлен HTTP/1.0, с похожим заголовком и использованием CRLF в качестве разделителей, что делает его очень удобным для реализации.

Впервые указанный в 2008 году WARC теперь признан большинством национальных библиотечных систем в качестве стандарта для веб-архивирования.

Программное обеспечение

• Веб-архиватор Heritrix на Java
• wget (начиная с версии 1.14)
• Webrecorder
• StormCrawler
• Apache Nutch
• Tar