Журнал Витуса. Голосов: 2 Адрес блога: http://vitus-wagner.livejournal.com/ Добавлен: 2008-02-19 12:48:41 блограйдером Lurk

Newstorrent

В начале существования CheshireNet и вообще при развитии сети в ситуации нормально работающего интернета, будет часто возникать задача быстро наполнить контентом спул нового, только что подключившегося узла. Аналогично, будут возникать задачи быстро распространить по узлам сети контент, раздаваемый новым гейтом (вот появился у нас вдруг гейт википедии и все его захотели).

С этой задачей эффективно справляется протокол Bittorrent. Но этот протокол ориентирован под раздачу файлов, куски которых идентифицируются смещением в файле (хотя возможность раздач каталогов там и предусмотрена). У нас имеется новостной спул.
Который отличается от файла следующими особенностями:

1. Каждый содержательный фрагмент имеет свой уникальный идентификатор (Message-ID).


2. Целостность каждого содержательного фрагмента гарантируется уже имеющейся под ним PGP-подписью.


3. Пропуск нескольких фрагментов не лишает смысла целое.

Кроме того, уже сейчас существует возможнсть по-разному физически хранить спул в файловой системе. Где-то используется traditional spool, в котором каждая статья хранится в отдельном файле, где-то база данных, где-то циклически перезаписываемые буфера. Кроме того бинарные форматы баз данных могут быть разными на разных архитектурах процессора.
И разные системы могут оптимизировать систему хранения исходя из разных задач - где-то критичен общий объем, где-то - количество файлов, где-то время процессора на обработку, где-то память обработчика. Поэтому специфицировать бинарный формат спула только ради того, чтобы быстро раздать его существующими программами обработки битторрента - неправильно.

Лучше реализовать логику торрента поверх NNTP.

This entry was originally posted at http://vitus-wagner.dreamwidth.org/963642.html. Please comment there using OpenID. Now there are comments