Сегодня 5 октября, суббота

Какой рейтинг вас больше интересует?

получить код

Главная / Каталог блогов / Cтраница блогера Мак Сим Blog. Игра в Слова / Запись в блоге

	Мак Сим Blog. Игра в Слова Голосов: 1 Адрес блога: http://mak-sim.ru Добавлен: 2008-03-06 15:25:40 блограйдером maksim77

Многопоточная обработка файлов в Bash

2011-11-14 11:36:00 (читать в оригинале)

Не знал писать или нет но всё таки решил поделиться. Потребовалось тут по работе запускать параллельную обработку файлов с определяемым количеством потоков. Сначала в интернете нашёл статью Dr.AKULAvich где рассказывалось про ppss (http://drakulavich.blogspot.com/2009/01/ppss.html) но по целому ряду причин эта программа нам не подошла и тогда я просто сам написал простой и во многом примитивный скрипт. Но главное что он работает! Вот делюсь:
Несколько пояснений: никакой универсальностью здесь и не пахнет. Под каждую задачу его надо править ручками. Данный вариант обработает все файлы с расширением dmp в папке /home/user/dir. Обработка сводится к их шифрованию с сжатием и последующем удаление исходных файлов. Переменная TH определяет количество потоков.

#!/bin/bash
enc () {
for FILES in `cat $1`
do
gpg -z 9 -e -r my@email.com $FILES && shred -z -u -n 1 -s 1M $FILES
done
}
TH=8
cd /home/user/dir
for i in *.dmp
do
echo $i >> list.txt
done
N=`cat list.txt | wc -l`
let "L = N / TH"
let "RES = N % TH"
if [ $RES != 0 ]; then
     let "L +=1"
else
     echo ""
fi
split -l $L -d list.txt
 
for NUM in x*
do
enc $NUM &
done
 
rm list.txt
rm -f x*

Тэги: bash, linux

Блограйдеров
14497

Блогов
219914
(+0 сегодня)

Сообществ
1309
(+0 сегодня)

Рыбалка
по среднему баллу (5.00) в категории «Спорт»

Категория «Стихи»

Взлеты Топ 5


+223	233	CAPTAIN
+196	256	Yurenzo
+185	193	Simple_Blogger
+171	263	Annelle
+166	246	Similis_Deo

Падения Топ 5


-1	162	Литературное кафе "ИСКУССТВО"
-1	154	Кому на Руси жить хорошо?
-2	14	Фрамин
-4	13	Miss Understanding
-7	164	Lucy-sama

Загрузка...

BlogRider.ru не имеет отношения к публикуемым в записях блогов материалам. Все записи
взяты из открытых общедоступных источников и являются собственностью их авторов.