Supercomputer on the basis of P2P of networks – one more step on a way to machine intelligence creation
2012-12-21 16:15:17 (читать в оригинале)
Problem of creation of machine intelligence mankind заинтересоввалось rather recently, approximately from the middle of the last century. Currently already there are theoretical practices and reasons in the field. It would allow to create artificial reason already today but while everything rests against high-speed performance of the modern means, and often and in their cost.
Recently came across one very interesting development which allows to create a supercomputer to a quantity of participants on the basis of the P2P networks. Development is absolutely free (Open Source) and is available in repositories of top distribution kits of Linux, wears the name CPUShare. The developer of this project is Andrea Arcangeli. The software allows to create the virtual supercomputer within several minutes. This program obsepecheniye works at the majority of widespread equipment rooms and all system (OS) platforms. Project site: http://www.cpushare.com. Be curious, won’t regret spent time.
Use of P2P of networks for implementation of the distributed computation gives conclusive priority – the number of participants can be very big, respectively and computational capabilities can be on orders above existing capacities of supercomputers in the modern data-centers. Besides, in view of decentralization of P2P of a network, this virtual supercomputer will be the most fault-tolerant, i.e. the functionality to remain regardless of if the part of a network fails for any reasons. For example, natural disasters, hostilities, diversions etc. This software as it was mentioned above, can be unrolled on any operating systems (Linux, Unix, Windows), and it will allow to cut down for orders expenses on creation of powerful computing systems, or to make their computational capabilities still big and fault-tolerant. And in case of universal mandatory implementation of a client part of such system, for example, in a number of branches, the departments, the separate enterprises, will allow to finish computational capability to inaccessible before heights.
It also is of interest for normal users, for example, by means of it it is possible to receive necessary additional high-speed performance on unproductive hardware platforms which for some reasons while there is no possibility to replace, for example, computer games. Options there can be a set. And commercial use isn’t excluded, it is possible to lease excessive computational capabilities for a certain board.
Nikitushkin Andrey
On July 07, 2012.
https://nikitushkinandrey.wordpress.com/2012/07/17/supercomputer-on-the-basis-of-p2p-of-networks-one-more-step-on-a-way-to-machine-intelligence-creation/
Тэги:
basis,
create,
intelligence,
machine,
more,
network,
one,
p2p,
step,
supercomputer,
way
Постоянная ссылка
Включение протокола DCCP в OS Linux.
2012-12-21 16:14:05 (читать в оригинале)
DCCP – протокол транспортного уровня, принят в качестве стандарта в 2006 году, впервые был включён в ядро 2.6.14, более полное описание можно получить обратившись к RFC 4340. Предназначен для улучшения функционирования потоковых приложений. По-умолчанию не задействован в ядрах различных дистрибутивов Linux, т. к. до сих пор находится в экспериментальной ветке.
Для его включения необходимо выполнить следующее:
modprobe dccp #Включаем протокол dccp
modprobe xt_dccp #Включаем модуль отслеживания соединений по протоколу dccp средствами iptables
sysctl -w net.dccp.default.seq_window=10000 #Устанавливаем размер окна по-умолчанию
sysctl -w net.ipv4.tcp_ecn = 1 #Включаем управление перегрузкой, которое зависит от модуля dccp
Рекомендую включить данный модуль (dccp), т. к. отзывчивость и работоспособность сети значительно улучшится, при этом не забываем также включать модуль xt_dccp для возможности контроля за данным протоколом. Но не стоит забывать и о безопасности, я имею ввиду ECN.
https://nikitushkinandrey.wordpress.com/2012/05/11/%d0%b2%d0%ba%d0%bb%d1%8e%d1%87%d0%b5%d0%bd%d0%b8%d0%b5-%d0%bf%d1%80%d0%be%d1%82%d0%be%d0%ba%d0%be%d0%bb%d0%b0-dccp-%d0%b2-os-linux/
Xtables-addons или добавляем функциональности фильтрации пакетов.
2012-12-21 16:13:09 (читать в оригинале)
Проект xtables-addons представляет собой набор модулей-расширений для входящего в ядро Linux фреймворка фильтрации и преобразования пакетов netfilter. В этот набор включаются расширения, которые по тем или иным причинам пока не были приняты в основную ветку разработки ядра Linux. Таким образом, данный проект является альтернативой устаревшему patch-o-matic(-ng). Ключевое отличие xtables-addons от предшественника состоит в отсутствии необходимости в наложении патчей на ядро и iptables, что значительно упрощает процесс сопровождения и установки расширений. Во времена patch-o-matic часто бывало сложно найти версию патча, совместимую с нужной версией ядра и/или iptables, в то время как для работы xtables-addons достаточно наличия ядра версии >=2.6.17 и iptables >= 1.4.3 (впрочем, в случае использования ipset 5 требования становятся несколько более жесткими — версия ядра не менее 2.6.35, дополнительно требуется библиотека libmnl). В числе других преимуществ xtables-addons над patch-o-matic(-ng) можно упомянуть расширенную поддержку IPv6 и более высокое качество кода.
В состав xtables-addons входит множество других полезных модулей (критериев и действий iptables/netfilter), в частности:
- TARPIT — широко известный в узких кругах инструмент для активного противодействия (D)DoS-атакам и сканированиям TCP-портов, способный в определенный обстоятельствах неплохо проучить атакующего. Суть его работы сводится к следующему: он подтверждает открытие входящего TCP-соединения, после чего устанавливает размер окна TCP равным нулю, что блокирует возможность корректного закрытия соединения. В результате система атакующего получает очередное «повисшее» соединение, в то время как ваша система ничего не замечает (хуки netfilter отрабатывают раньше, чем стандартный сетевой стек ядра, дополнительно может потребоваться отключение трекинга соединений в conntrack через действие NOTRACK). При агрессивной атаке подобная тактика может вызвать у атакующего серьезные проблемы. Особенно сильно такому воздействию подвержены системы семейства Windows, на которых, как правило, и работают атакующие ботнеты.
- DELUDE — не столь опасный, но тем не менее тоже полезный инструмент противодействия сканированию TCP-портов. Работает он следующим образом: на SYN-пакеты он отвечает SYN,ACK-пакетами, создавая видимость открытого порта, на все остальные пакеты он отвечает RST (чтобы не создавать лишних проблем). Таким образом, DELUDE позволяет ввести атакующего в заблуждение, создав у него неверное впечатление о состоянии ваших портов.
- CHAOS — еще один инструмент, позволяющий поставить атакующего в глупое положение. С заданной вероятностью он применяет к входящему пакету операцию TARPIT или DELUDE (в зависимости от настроек), либо стандартную операцию REJECT (отправка ICMP-уведомления о недоступности порта), либо операцию DROP (блокирование пакета без уведомления отправляющей стороны). По умолчанию вероятности применения TARPIT/DELUDE и REJECT составляют порядка одного процента, к остальному трафику применяется DROP.
- IPMARK — действие, позволяющее присвоить пакету маркировку, определенную в результате арифметических операций над его исходным адресом (либо адресом назначения). Таким образом, грамотная организация адресного пространства в сочетании с элементарными арифметическими и побитовыми операциями могут заменить монструозные таблицы соответствия «адрес — маркировка», поиск по которым может отнимать значительную долю системных ресурсов. Особенно полезна данная операция при организации гибких систем шейпинга, когда несколькими командами можно настроить работу многих тысяч очередей.
- LOGMARK — действие, дополняющее набор данных, выводимых стандартной операцией LOG, такими сведениями, как маркировка, идентификатор, состояние и статус соединения в системе conntrack, маркировка SELinux и классификационный код шейпера для данного пакета, имя родительского хука, внутренний код интерфейса и т.п.
- RAWDNAT/RAWSNAT — операции «сырой» трансляции адресов, не использующие трекинг соединений. Могут быть использованы для увеличения гибкости стандартного NAT либо при ограниченности ресурсов в сочетании с большим количеством соединений, когда трекинг становится чересчур накладным.
- ACCOUNT — простая, высокопроизводительная система учета трафика, поддерживающая работу с клиентскими сетями большого размера (вплоть до /8).
- SYSRQ — инструмент, позволяющий при получении специальным образом сформированных (защищенных паролем) пакетов обращаться к системному триггеру. В частности, можно удаленно инициировать сброс кэша (sync) или даже выполнить ту самую последовательность REISUB, вне зависимости от работоспособности userspace.
- DHCPMAC/dhcpmac — сочетание одноименных критерия и действия позволяет выделять и подменять MAC-адреса, фигурирующие в запросах и ответах DHCP.
- condition — критерий, срабатывающий в зависимости от значения соответствующей булевой переменной, которое может быть задано из userspace (через procfs). Таким образом, работой правил netfilter можно управлять, не вмешиваясь в их структуру.
- fuzzy — критерий, выделяющий пакеты на основании нечеткой логики (при скорости поступления пакетов ниже пороговой величины a, вероятность соответствия пакета критерию равна нулю, в диапазоне скоростей от a до b вероятность плавно возрастает до единицы, и при скорости выше b пакеты всегда соответствуют критерию).
- geoip — критерий, позволяющий выделять пакеты на основании принадлежности их исходного адреса или адреса назначения заданному государству. Можно использовать базы данных от MaxMind или WIPmania
- iface — критерий, срабатывающий в зависимости от состояния заданного сетевого интерфейса. В частности, с его помощью можно организовывать отказоустойчивый доступ в интернет при наличии нескольких независимых каналов, с автоматическим исключением неработающих каналов.
- ipp2p — критерий, позволяющий выделять трафик различных P2P-сетей, в частности, BitTorrent, eDonkey/eMule, DC, Gnutella, AppleJuice, WinMX, SoulSeek, Ares, KaZaA. Чрезвычайно удобен при организации эффективного шейпинга трафика. Является неплохой альтернативой критерию l7filter, который требует наложения патчей на ядро и поэтому не включен в проект xtables-addons.
- lscan — разработанный Яном Энгельгардтом инструмент для выявления скрытных операций по сканированию TCP-портов.
- psd — более простой инструмент для выявления массовых сканирований TCP- и UDP-портов, основанный на принципе взвешенной суммы.
- pknock — позволяет организовать защиту портов посредством технологии port knocking. Возможно дополнительное усиление защиты за счет использования HMAC256-шифрования отправляемых пакетов.
- quota2, length2 — расширяют возможности стандартных критериев netfilter quota и length.
Данная статья подготовлена по материалам сайта: http://www.opennet.ru/opennews/art.shtml?num=29198
Надеюсь, что еще одно подробное описнание некоторых возможностей фильтрации пакетов в Linux, будет полезным. Успехов вам в дружбе с тюксом.
https://nikitushkinandrey.wordpress.com/2012/05/11/xtables-addons-%d0%b8%d0%bb%d0%b8-%d0%b4%d0%be%d0%b1%d0%b0%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc-%d1%84%d1%83%d0%bd%d0%ba%d1%86%d0%b8%d0%be%d0%bd%d0%b0%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d0%b8-%d1%84%d0%b8/
Улучшаем энергосбережение на мобильных устройствах с OS Linux.
2012-12-21 16:12:13 (читать в оригинале)
Давненько собирался написать данную статью.
Не буду приводить информацию о том, как подключить общеизвестные костыли. Расскажу о малоизвестных способах тюнинга энергосбережения.
Приступим.
Управление энергосбережением на мобильных чипах Broadcom с STA модулем:
iwconfig eth1 txpower 19dBm
iwconfig eth1 power period 1
iwconfig eth1 power timeout 300u all
iwconfig eth1 power 500m unicast
iwconfig eth1 power min period 1 power max period 2
iwconfig eth1 power saving 5
iwconfig eth1 commit
Изменяем процент с которого начинается использование свопа:
echo 10 > /proc/sys/vm/swappiness
Включаем отслеживание состояния питания:
echo “1″ > /sys/power/pm_trace
Управление вентилятором процессора:
echo “1″ > /sys/class/thermal/cooling_device0/cur_state
Управление энергосбережением контроллеров для подключаемых носителей:
echo min_power > /sys/class/scsi_host/host2/link_power_management_policy
echo min_power > /sys/class/scsi_host/host3/link_power_management_policy
echo min_power > /sys/class/scsi_host/host4/link_power_management_policy
Включаем энергосбережение для шины PCIe:
echo powersave > /sys/module/pcie_aspm/parameters/policy
Включаем энергосбережение для шины USB:
[ -L /sys/bus/usb/devices/1-5/power/level ] && echo auto > /sys/bus/usb/devices/1-5/power/level
[ -L /sys/bus/usb/devices/1-5/power/level ] && echo auto > /sys/bus/usb/devices/1-5/power/level
for i in /sys/bus/usb/devices/*/power/autosuspend; do echo 1 > $i; done
for i in /sys/bus/usb/devices/*/power/level; do echo auto > $i; done
Последнее используйте с осторожностью, т. к. могут быть проблемы с мышью.
или options usbcore autosuspend=1 в /etc/modprobe.conf или /etc/modules
Включаем режим для портативных устройств:
echo “5″ > /proc/sys/vm/laptop_mode
Настраиваем энергосбережение для подключаемых носителей информации:
hdparm -B 128 -S 200 /dev/sda
hdparm -B 128 -S 200 /dev/sg1
Параметры, специфичные для платформ на основе Intel-овской логики:
echo 1 > /sys/module/i915/parameters/i915_enable_rc6
echo 1 > /sys/module/snd_hda_intel/parameters/power_save
echo 1 > /sys/module/longhaul/parameters/scale_voltage
Более подробно и более познавательно об этом можно прочитать и найти более интресную информацию по следующей ссылке:
http://www.thinkwiki.org/wiki/How_to_reduce_power_consumption
“Знания и труд – горы перетрут!”, не так ли?
https://nikitushkinandrey.wordpress.com/2012/05/11/%d1%83%d0%bb%d1%83%d1%87%d1%88%d0%b0%d0%b5%d0%bc-%d1%8d%d0%bd%d0%b5%d1%80%d0%b3%d0%be%d1%81%d0%b1%d0%b5%d1%80%d0%b5%d0%b6%d0%b5%d0%bd%d0%b8%d0%b5-%d0%bd%d0%b0-%d0%bc%d0%be%d0%b1%d0%b8%d0%bb%d1%8c/
Тэги:
broadcom,
cooling_device,
hdparm,
intel,
laptop,
laptop_mode,
linux,
pcie,
powersave,
мобильный,
ноутбук,
устройство,
энергосбережение
Постоянная ссылка
Улучшаем работу Wi-Fi сети с тюксом на борту. ;-)
2012-12-21 16:08:55 (читать в оригинале)
Предлагаю произвести следующие изменения в алгоритме управления соединениями:
1. Подключаем следующие модули:
modprobe tcp_vegas
modprobe tcp_veno
2. Включаем управление передачей veno
echo “veno” > /proc/sys/net/ipv4/tcp_congestion_control
Алгоритм reno уже зарегистрирован в системе. Алгоритм veno является гибридом из алгоритмов vegas и reno, он аккумулирует все лучшее данных алгоритмов, но пока все еще является экспериментальным. Если вы не хотите использовать его на ответственных узлах с Wi-Fi, то включите алгоритм vegas.
Удачи в дружбе с тюксом!
https://nikitushkinandrey.wordpress.com/2012/05/11/%d1%83%d0%bb%d1%83%d1%87%d1%88%d0%b0%d0%b5%d0%bc-%d1%80%d0%b0%d0%b1%d0%be%d1%82%d1%83-wi-fi-%d1%81%d0%b5%d1%82%d0%b8-%d1%81-%d1%82%d1%8e%d0%ba%d1%81%d0%be%d0%bc-%d0%bd%d0%b0-%d0%b1%d0%be%d1%80%d1%82/
