====== Задача ======
Создать полнофункциональный узел доступа к сети интернет на 2000 человек с авторизацией, системой приоритетов и фильтрацией нежелательного контента.
===== Установка =====
Необходимо установить пакеты Squid (прокси) и Apache2 (веб-сервер):
zypper in squid apache2
===== Настройка squid.conf =====
Далее мы рассмотрим параметры в таком же порядке, в котором они расположены в оригинальном squid.conf
Указываем серверу какой порт слушать и на каком интерфейсе:
http_port 192.0.2.1:8080
==== Кеши в памяти и на диске ====
Прокси сервер squid имеет 2 вида кеша: один хранится в RAM, другой - в HDD. В случае, когда есть дефицит пропускной способности внешнего канала и стоит задача экономии внешнего трафика, целесообразно по-максимуму использовать оба кеша. В случае же, когда внешний канал достаточно большой, ровно как и трафик, проходящий через прокси-сервер, стратегия настройки кеша будет другой.
==== Дефицит внешнего канала ====
Настроим кеш таким образом, чтобы максимально экономить трафик и, в общем случае, увеличить отзывчивость популярных ресурсов.
Поскольку на сервере установлено 2 Gb ОЗУ, ставим побольше объем кеша в памяти:
cache_mem 1024 MB
Увеличиваем максимальный размер файла, хранящегося в кеше на диске:
maximum_object_size 32768 KB
...и в ОЗУ:
maximum_object_size_in_memory 1024 KB
Настраиваем политику замещения файлов в памяти и дисковом кэше, мы используем сочетание LFUDA и GDSF http://www.hpl.hp.com/techreports/1999/HPL-1999-69.html http://www.hpl.hp.com/techreports/98/HPL-98-173.html
Политика GDSF оптимизирует скорость объектов, храня маленькие популярные объекты в кэше поэтому она имеет больше шансов на совпадение. Она достигает более низкой скорости, чем LFUDA, так как она исключает большие (возможно, популярные) объекты.
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
Мы используем дисковый кеш объемом 32 Гб:
cache_dir ufs /var/cache/squid 32000 128 256
Здесь вы можете задать каталоги, которые вы будете использовать. Вы должны уже mkreiserfs'd разделы каталога кэша, так что вам не придется долго думать над этими значениями. Во-первых, вам нужно будет использовать около 80% и менее каждого каталога кэша для веб-кэша. Если вы используете больше этого, вы начнете видеть небольшое снижение производительности. Помните, что размер кэша не так важен, как его скорость, так как для достижения максимальной эффективности кэш должен хранить траффик около недели. Вы также должны определить количество каталогов и подкаталогов. Формула для рассчёта:
x=Размер каталога кэша в KB (напр.: 6GB=~6,000,000KB)
y=Средний размер объектов (просто используйте 13KB z=Количество каталогов в каталоге первого уровня.
(((x / y) / 256) / 256) * 2 = # количество каталогов
Например, я использую 6GB каждого из моих 13GB дисков, так:
6,000,000 / 13 = 461538.5 / 256 = 1802.9 / 256 = 7 * 2 = 14
Таким образом моя cache_dir будет выглядеть так:
cache_dir 6000 14 256
Это действительно две важные вещи. Все остальное просто доработка. Возможно, вы захотите выключить хранения логов поскольку с ними всё равно не так много, что можно сделать:
==== Дефицит ресурсов сервера на быстром канале ====
В случае, если интернет-канал организации достаточно велик (десятки и сотни mbps) и суточный трафик составляет десятки и сотни Gb, стратегия настройки прокси-сервера в корне меняется, т.к. нет нужды экономить "мегабайты", но при этом необходимо сделать так, чтобы интернет, идущий через прокси, был быстрее, а не медленнее идущего напрямую. По результатам исследования компании IBM перемещение 7% наиболее востребованых данных на [[СХД]] с медленных носителей в быстрый кеш увеличивает общую отзывчивость системы на 80% и более. Воспользуемся этим же подходом для ускорения работы сети интернет.
cache_mem 5120 MB
maximum_object_size_in_memory 512 KB
memory_replacement_policy heap GDSF
cache_dir null /tmp
Для начала максимально увеличиваем объем кеша в ОЗУ:
cache_mem 1536 MB
...и уменьшаем максимальный объем хранимых объектов:
maximum_object_size 512 KB
maximum_object_size_in_memory 512 KB
Политику замещения файлов в кеше ОЗУ используем GDSF:
memory_replacement_policy heap GDSF
...и отключаем дисковый кеш совсем:
cache_dir null /tmp
Для чего это делается. По простому эмпирическому правилу (с форумов nag.ru) объем дискового кеша для эффективной работы д.б. не меньше, чем суточный объем трафика. При объеме дискового кеша в сотню-другую гигабайт возникает несколько проблем, а именно: кеш такого объема требует много ОЗУ (14 MB of memory per 1 GB on disk for 64-bit Squid) http://wiki.squid-cache.org/SquidFaq/SquidMemory Squid Web Proxy Wiki: SquidFaq/SquidMemory и высокоскоростной дисковой подсистемы на сервере, переваривающей много iops, что стоит денег. При этом в нашем случае было проверено экспериментально, что уменьшение объема кеша в 30 раз снижает эффективность кеширования всего в 1.5 раза.
В данной ситуации выигрышная стратегия заключается в полном отказе от кеша на жестком диске и максимальном увеличении объема ОЗУ и объема кеша в памяти на прокси сервере. Тюнинг кеша на небольшие файлы делается при этом для того, чтобы сократить задержки при их передаче и увеличить количество обслуживаемых кешем запросов. При наличии быстрого интернет-канала нет особой разницы, с какой скоростью передается файл объемом 100 Кб или 1 Мб, поэтому смысла кешировать большие файлы нет, а вот разница между получением 100 мелких файлов (оформление сайтов и проч.) через интернет или же из RAM-кеша по гигабитной сети видна на глаз, да и pps на маршрутизаторе экономится довольно неплохо.
Указываем программу для обработки URL'ов, она используется для борьбы с баннерами и будет подробно рассмотрена далее. Количество children указано большим для того, чтобы пользователи не испытывали некомфортных задержек при работе с сетью.
redirect_program /usr/local/bin/redirector
redirect_children 50
Авторизация через LDAP (подробнее в следующем разделе):
auth_param basic program /usr/sbin/squid_ldap_auth -b "cn=example.com" ldap.example.com
auth_param basic children 10
auth_param basic realm RSU proxy-server
auth_param basic credentialsttl 2 minutes
Поскольку в дальнейшем мы используем ACL max_user_ip, выставляем следующий параметр:
authenticate_ip_ttl 5 minutes
=== Тюнинг http-заголовков для более эффективного кеширования статических файлов ===
refresh_pattern -i ^http://thumbs.ebay.com 2880 50% 43200 ignore-reload override-expire override-lastmod
refresh_pattern -i ^http://include.ebaystatic.com 2880 50% 43200 ignore-reload override-expire override-lastmod
refresh_pattern -i \.swf 2880 50% 43200 ignore-reload override-expire override-lastmod
refresh_pattern -i \.(gif|jpe?g|png|ico|zip|rar|arj|lha|lzh|cab|exe|wm[afv]|divx|avi|flv|fmv|rlv|r[ma]|mpe?g|mp[234]|wav|mid|pdf|bz2|
tgz|ppt|avc|klb|tar\.gz|tgz|tar\.bz2|tbz2)$ 2880 50% 43200 ignore-reload override-expire override-lastmod
refresh_pattern -i \.(gif|jpe?g|png|ico|zip|rar|arj|lha|lzh|cab|exe|wm[afv]|divx|avi|r[ma]|mpe?g|mp[234]|wav|mid|pdf|bz2|tgz|ppt|avc|
klb|tar\.gz|tgz|tar\.bz2|tbz2)$ 2880 50% 43200 override-expire override-lastmod
# LiveJournal
refresh_pattern livejournal\.com/userpic/ 3200 100% 43200 ignore-reload override-expire override-lastmod
refresh_pattern stat\.livejournal\.com/ 3200 100% 43200 ignore-reload override-expire override-lastmod
refresh_pattern userpic\.livejournal\.com/ 3200 100% 43200 ignore-reload override-expire override-lastmod
refresh_pattern pics\.livejournal\.com/ 21600 100% 43200 ignore-reload override-expire override-lastmod
# Fishki.net static content
refresh_pattern ru\.fishki\.net/ 21600 100% 43200 ignore-reload override-expire override-lastmod
refresh_pattern de\.fishki\.net/ 21600 100% 43200 ignore-reload override-expire override-lastmod
# Photofile.ru
refresh_pattern photofile\.ru/photo/ 21600 100% 43200 ignore-reload override-expire override-lastmod
refresh_pattern -i mode=attach|MessagePart|/simg/ 600000 50% 1200000
refresh_pattern -i /top100\.cnt 43200 100% 43200
refresh_pattern -i /(counter|hit|erle\.cgi|bb\.cgi)$ 43200 100% 43200
# Macromedia/Adobe Flash player
refresh_pattern macromedia.com/.*\.(cab|exe|zip)$ 43200 100% 43200
# Windows Update
refresh_pattern windowsupdate.com/.*\.(cab|exe|zip|psf)$ 43200 100% 43200
refresh_pattern download.microsoft.com/.*\.(cab|exe|zip|psf)$ 43200 100% 43200
refresh_pattern -i \.(cgi|asp|php|fcgi|rbx|rhtml) 0 20% 60
# Google
# google maps/earth/etc = min 7 days
refresh_pattern -i google\.com/(flatfile|kh|mt)\? 10080 50% 43200 ignore-reload override-expire override-lastmod
# VKontakte.ru
refresh_pattern vkontakte.ru/.*\.(jpg|gif|flv|mp3)$ 43200 100% 43200
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern \? 0 20% 4320
refresh_pattern . 5 20% 4320
=== ACL's ===
Разрешаем ICQ, Jabber и IRC:
acl SSL_ports port 443 563 5190 5222 5223 6667-7000
Создаем правило для доступа к сервисам windows update, поиска кодеков и активации windows
acl winupdate dstdomain .windowsupdate.com .update.microsoft.com
.windowsupdate.microsoft.com .one.microsoft.com .genuine.microsoft.com
.c.microsoft.com .codecs.microsoft.com
Правило для доступа к обновлениям mozilla
acl mozupdate dstdomain .addons.mozilla.org
Правило для ресурсов, к которым мы просто хотим дать свободный доступ
acl freeres dstdomain .fepo.ru
Указываем правила:
# Баннеры
acl banners dstdomain "/etc/squid/hawk/banner.list"
# Порно
acl porno dstdomain "/etc/squid/hawk/porno.list"
# Анонимайзеры
acl anonymizer dstdomain "/etc/squid/hawk/anonymizer.list"
# Службы знакомств
acl love dstdomain "/etc/squid/hawk/love.list"
# Он-лайн игры
acl gamez dstdomain "/etc/squid/hawk/gamez.list"
# Разнообразные "тяжелые"ресурсы, rapidshare, zaycev.net etc
acl vari dstdomain "/etc/squid/hawk/vari.list"
acl varihard dst "/etc/squid/hawk/varihard.list"
# Жестко блокируемые ресурсы
acl hardban dst "/etc/squid/hawk/hardban"
# Подсети ICQ
acl icqban dst "/etc/squid/hawk/icqban.list"
# Mail.ru Agent
acl mailaban dstdomain "/etc/squid/hawk/mailabandst.list"
# Фишинговые сервера
acl fishban dst "/etc/squid/hawk/fishban"
Список заблокированных ресурсов для учебных классов и Wi-Fi
acl classes_entertain dstdomain "/etc/squid/hawk/classesban.list"
acl wifi_entertain dstdomain "/etc/squid/hawk/wifiban.list"
Запрещаем всем доступ к:
http_access deny all banners
http_access deny all porno
http_access deny all anonymizer
http_access deny all hardban
http_access deny all fishban
http_access deny all mailaban
http_access deny all gamez
Указываем собственные страницы, вдаваемые при запрещениях:
deny_info ERR_BLOCKED_BANNER banners
deny_info ERR_BLOCKED_PORN porno
deny_info ERR_BLOCKED_ANON anonymizer
deny_info ERR_BLOCKED_PORN hardban
deny_info ERR_BLOCKED_FISH fishban
deny_info ERR_BLOCKED_GAMEZ gamez
deny_info ERR_BLOCKED_CLASSES_ENT classes_entertain
deny_info ERR_BLOCKED_CLASSES_ENT wifi_entertain
deny_info ERR_BLOCKED_CLASSES_ENT icqban
deny_info ERR_BLOCKED_CLASSES_ENT love
deny_info ERR_BLOCKED_CLASSES_ENT mailaban
deny_info ERR_BLOCKED_VARI vari
deny_info ERR_BLOCKED_VARI varihard
Определяем рабочее время
acl work_day time M T W H F A 8:00-17:00
Определяем правило для определенных типов файлов по расширению
acl blockfiles urlpath_regex "/etc/squid/hawk/restfiles"
deny_info ERR_BLOCKED_FILES blockfiles
Определяем свои сети как для исходящих, так и для входящих соединений
acl our_networks src 192.0.2.0/24
acl rspu_net dst 192.0.2.0/24
acl rspu_dns dstdomain .example.org
Определяем лимиты на одновременные подключения
acl connlim maxconn 10
acl connlim5 maxconn 5
acl connlim50 maxconn 50
deny_info ERR_MAXCONN connlim
deny_info ERR_MAXCONN connlim5
deny_info ERR_MAXCONN connlim50
Определяем ip-адреса wi-fi сети
acl wi-fi src 198.51.100.0/24
Подключаем список особо отличившихся товарищей (список генерируется автоматически, см. раздел Работа с "качками")
acl loaderz proxy_auth "/etc/squid/pools/auto_loaderz.pool"
Подключаем простых сотрудников
acl staff proxy_auth REQUIRED
Подключаем список учебных машин в классах
acl classes src "/etc/squid/pools/classes.pool"
Определяем правило, запрещающее одновременные подключения под одним аккаунтом более чем с одного ip-адреса
acl anticaesar max_user_ip -s 1
deny_info ERR_ANTICAESAR anticaesar
** Порядок расположения access/deny имеет первостепенное значение! **
** Собираем правила, не требующие идентификации пользователей при помощи паролей **
Запрещаем "чужакам" работать через наш сервер
http_access deny !our_networks
Разрешаем всем доступ к ранее определенным службам winupdate, mozilla update, свободным и локальным ресурсам
http_access allow winupdate
http_access allow mozupdate
http_access allow freeres
http_access allow rspu_net
http_access allow rspu_dns
** Секция wi-fi **
# Запрещаем более 50 одновременных подключений на машину
http_access deny wi-fi connlim50
# Запрещаем ранее определенные ресурсы
http_access deny wi-fi wifi_entertain
# Запрещаем доступ в рабочее время определенным файлам и сайтам (чтобы не грузить канал)
http_access deny wi-fi work_day blockfiles
http_access deny wi-fi work_day vari
http_access deny wi-fi work_day varihard
# Разрешаем доступ
http_access allow wi-fi
** Секция учебных классов **
# Запрещаем более 5 одновременных подключений на машину
http_access deny classes connlim5
# Запрещаем ранее определенные ресурсы
http_access deny classes classes_entertain
# ...и Аську
http_access deny classes icqban
# ...и знакомства
http_access deny classes love
# ибо негоже во время занятий вместо того чтобы слушать преподавателя,
# сидеть на одноклассниках и чатиттся до потери пульса
# ---
# Запрещаем доступ в рабочее время определенным файлам и сайтам (чтобы не грузить канал)
http_access deny classes work_day blockfiles
http_access deny classes work_day vari
http_access deny classes work_day varihard
# Разрешаем доступ
http_access allow classes
**Собираем правила, которым необходима идентификация пользователей при помощи паролей**
Данные правила работают только если клиент не попал ни под одно из вышеперечисленных и система спросила у него пароль
**Работа с "качками"**
# Запрещаем "качкам" одновременный доступ с разных машин.
http_access deny loaderz anticaesar
# Запрещаем скачивать в рабочее время определенные типы файлов
http_access deny loaderz work_day blockfiles
# Запрет на более чем 10 одновременных соединений с клиента в рабочее время
http_access deny loaderz work_day connlim
# Запрет на более чем 5 одновременных соединений с клиента в нерабочее время
# как раз тогда, когда по правилам откроются "тяжелые" сайты
http_access deny loaderz !work_day connlim5
http_access deny loaderz work_day vari
http_access deny loaderz work_day varihard
# Разрешаем доступ
http_access allow loaderz
** Обычные пользователи **
Запрещаем более 50 одновременных подключений. На нормальной работе это не сказывается, а вот от всяких download master и проч., качающих в 100 и более одновременных потоков помогает хорошо.
http_access deny staff connlim50
http_access allow staff
И в конце стандартное правило запрета всех остальных
http_access deny all
Указываем, что squid не кеширует, а напямую общается с ранее определенными локальными ресурсами
always_direct allow rspu_net
=== Delay Pools ===
Данные параметры отвечают за шейпинг трафика
Указываем количество пулов
delay_pools 3
Определяем классы (про типы классов подробно написано в самом конфигурационном файле)
delay_class 1 2
delay_class 2 2
delay_class 3 3
Определяем кто к какому классу относится
delay_access 1 allow classes
delay_access 1 deny all
delay_access 2 allow loaderz
delay_access 2 deny all
delay_access 3 allow staff
delay_access 3 deny all
Определяем итоговую скорость для пулов
# 128 kbit/sec на подсеть, 64k кажому
delay_parameters 1 128000/128000 64000/64000
# 48 kbit на подсеть, 16k каждому
delay_parameters 2 48000/48000 16000/16000
# В настоящее время лимиты сняты
delay_parameters 3 -1/-1 -1/-1 -1/-1
=== Определение настроек ===
== Автоматическое ([[WPAD|http://en.wikipedia.org/wiki/Web_Proxy_Autodiscovery_Protocol]]) ==
В dns указываем cname на proxy:
proxy IN A 192.0.2.1
wpad IN CNAME proxy
Не забываем увеличить на 1 серийный номер зоны.
Для клиентских машин, игнорирующих dns-суффикс в запросе и ломящихся напрямую по адресу "wpad" делаем зону-заглушку:
$TTL 2d
@ IN SOA ns.example.com. root.example.com. (
2009011603 ; serial
3h ; refresh
1h ; retry
1w ; expiry
1d ) ; minimum
wpad. IN NS ns.example.com.
wpad. IN NS ns2.example.com.
wpad. IN A 192.0.2.1
и подключаем ее в конфигурационном файле named.conf:
zone "wpad" in {
file "master/wpad";
type master;
allow-query { any; };
};
На dhcp-сервере в конфигурационном фале **dhcpd.conf**:
option wpad-curl code 252 = text ;
option wpad-curl "http://proxy.example.com/wpad.dat\000" ;
В корень www-сервера нашей машины (для suse это /srv/www/htdocs/) кладем файл с именем следующего содержания:
**wpad.dat**
function FindProxyForURL(url, host) {
if (shExpMatch(url,"*.example.com/*")) {
return "DIRECT";
}
if (isInNet(myIpAddress(), "192.0.2.0", "255.255.255.0")) {
return "PROXY proxy.example.com:8080";
}
else return "DIRECT";
}
Подробный синтаксис команд данного файла можно найти на сайте netscape.
Делаем символические ссылки (ln -s) для разных версий windows и разных вариантов глюков IE:
proxy.pa -> wpad.dat
proxy.pac -> wpad.dat
wpad.da -> wpad.dat
wpad.js -> wpad.dat
wpad.jvs -> wpad.dat
wpad.pac -> wpad.dat
В конфигурационных файлах apache2 добавляем следующие строки:
**/etc/apache2/mime.types**
application/x-ns-proxy-autoconfig dat
application/x-javascript-config pac
**/etc/apache2/mod_mime-defaults.conf**
AddType application/x-javascript-config .pac
AddType application/x-ns-proxy-autoconfig .dat
Перезапускаем apache:
rcapache2 restart
=== Страница "заглушка" ===
На роутере (SLES 9) делаем следующее. В директории /srv/www создаем файл **index.html** с описанием настроек proxy-сервера.
В файле /etc/sysconfig/SuSEfirewall2 добавляем следующее:
FW_REDIRECT="наша_подсеть/маска,!подсеть_серверов/маска,tcp,80,80"
Теперь все запросы из локальной сети в интернет, идущие мимо прокси, будут попадать на страницу-заглушку с указаниями.
Пример страницы: http://gw.rsu.edu.ru/
=== Аутентификация пользователей ===
== Доступ по ip-адресам/подсетям ==
В конфигурационном файле доавляем следующие строки:
acl classes src "/etc/squid/pools/classes.pool"
http_access allow classes
=== Аутентификация через MySQL ===
Скрипт для basic-authentication:
#!/usr/bin/perl
use DBI;
use IO::Handle;
$dbh = DBI->connect("DBI:mysql:db-name:example.com","db-user","db-pass");
while ($answer = ) {
chomp $answer;
@personal = split(/ /, $answer);
$sql = "select login from users where login='$personal[0]' and password='$personal[1]'";
$sth = $dbh->prepare($sql);
$sth->execute or die "SQL Error: $DBI::errstr\n";
$result = $sth->fetchrow_array();
if ($result) {
print "OK\n";
} else {
print "ERR\n";
}
IO::Handle::flush(STDOUT);
}
squid.conf:
# (MySQL)
auth_param basic program /usr/local/bin/squid_mysql_auth
auth_param basic children 10
auth_param basic realm Example proxy-server
auth_param basic credentialsttl 2 minutes
=== Аутентификация через LDAP ===
В нашем случае в качестве LDAP-сервера выступает [[Communigate Pro]]. В настойках:
Включаем **Управление Пользователями через LDAP**:
**Пользователи** -> **Центральный справочник**
Управление Пользователями через LDAP: Включено
Проверка:
squid_ldap_auth -b "cn=domain.name" cgp.example.com
Должно выдавать OK/ERR на plaintext-строку "имя пароль"
В конфигурационном файле squid.conf:
# (CommuniGate LDAP)
auth_param basic program /usr/sbin/squid_ldap_auth -b "cn=example.com" cgp.example.com
auth_param basic children 10
auth_param basic realm Example proxy-server
auth_param basic credentialsttl 2 minutes
== Логи ==
В нашем случае мы используем ежедневную ротацию логов прокси сервера squid. В SLES это делается таким образом:
Правим файл ''/etc/logrotate.d/squid'', заменяем строчку (для секции access.log) size=+4096 на daily.
Правим файл ''/etc/sysconfig/cron''. По умолчанию скрипты logrotate запускаются через cron.daily, который в свою очередь стартует следующим образом:
# At which time cron.daily should start. Default is 15 minutes after booting
# the system. Due the cron script runs only every 15 minutes, it will only
# run on xx:00, xx:15, xx:30, xx:45, not at the accurate time you set.
Как видно нас такой вариант не устраивает, меняем:
DAILY_TIME="00:15"
=== SARG ===
Добавляем поддержку русского языка в кодировке UTF:
cd /etc/squid/sarg/languages
iconv -f cp1251 -t utf-8 < Russian_cp1251 > Russian_utf8
Модифицируем конфигурационный файл:
**/etc/squid/sarg/sarg.conf**
language Russian_utf8
output_dir /srv/www/htdocs/sarg
resolve_ip yes
exclude_users /etc/squid/sarg/stealth_users.txt
overwrite_report yes
records_without_userid ignore
topsites_sort_order BYTES D
usertab /etc/squid/sarg/users_list.txt
displayed_values abbreviation
=== LightSquid ===
=== Ежемесячный отчет на почту пользователям и начальству ===
При использовании lightsquid сделать подобный функционал весьма просто:
**/etc/cron.monthly/peruserstat**
#!/bin/bash
export LANG=ru_RU.UTF-8
export LC_CTYPE="ru_RU.UTF-8"
export LC_NUMERIC="ru_RU.UTF-8"
export LC_TIME="ru_RU.UTF-8"
export LC_COLLATE="ru_RU.UTF-8"
export LC_MONETARY="ru_RU.UTF-8"
export LC_MESSAGES="ru_RU.UTF-8"
export LC_PAPER="ru_RU.UTF-8"
export LC_NAME="ru_RU.UTF-8"
export LC_ADDRESS="ru_RU.UTF-8"
export LC_TELEPHONE="ru_RU.UTF-8"
export LC_MEASUREMENT="ru_RU.UTF-8"
export LC_IDENTIFICATION="ru_RU.UTF-8"
YY=`date --date='1 day ago' "+%Y"`
MM=`date --date='1 day ago' "+%m"`
UL=`awk -F " " '{ print $1 ;}' < /srv/www/cgi-bin/light/realname.cfg`
for i in $UL
do
w3m -dump -T text/html "http://localhost/cgi-perl/light/user_detail.cgi?year=$YY&month=$MM&user=$i&mode=month">/tmp/monthly/$i.txt
echo "Пожалуйста ознакомьтесь с вложенным файлом. Желаем приятной работы!" | \
mail -r postmaster@example.com -a /tmp/monthly/$i.txt -s "[PROXY] Месячный отчет об использовании интернета" $i@example.com
done
# Отсылаем начальству список отличившихся за месяц
ADMINS="admin1 admin2 boss"
w3m -dump -T text/html "http://localhost/cgi-perl/light/month_detail.cgi?year=$YY&month=$MM">/tmp/monthly/topusers.txt
for i in $ADMINS
do
echo "Пожалуйста ознакомьтесь с вложенным файлом. Список пользователей отсортирован по объему потребленного за месяц траффика. \
По всем вопросам можете обращаться по адресу mailto:admin@example.com Желаем приятной работы!" | \
mail -r admin@example.com -a /tmp/monthly/topusers.txt -s \
"[PROXY] Месячный отчет об общем использовании интернета пользователями" $i@example.com
done
rm /tmp/monthly/*.txt
Обратите внимание на экспорт переменных локали. Без этого сообщения отсылаться не будут.
=== Ручной анализ ===
Бывает небходимо проводить изыскания в промежутках времени, больших, чем файл логов, приходится просматривать архивы. Данный скрипт собирает из всех логов архива единый файл по какому-либо признаку для дальнейшей обработки:
#!/bin/bash
echo "Думаю: "
echo "Result:" > spy-out.txt
for i in `ls access.log-200808*.bz2`
do
echo -n "."
#echo $i >> spy-out.txt
#echo "---" >> spy-out.txt
bunzip2 -d -c $i | grep "some_text_for_research" >> spy-out.txt
done
# Пример: Узнаем кто сколько раз посетил ресурс в условии
# awk ' { print $8; }' < spy-out.txt | sort | uniq -c | sort -r -g
# Пример: Узнаем сколько раз был посещен тот или иной ресурс
# awk '{ print $7; }' < spy-out.txt| awk -F "/" '{ print $3; }'| sort | uniq -c | sort -r -g
=== Разности-полезности ===
Преобразовать timestamp'ы логов сквида в человеческий вид можно при помощи простенького скрипта на perl:
#! /usr/bin/perl -p
s/^\d+\.\d+/localtime $&/e;
== Ограничители ==
В целях более равномерной загрузки канала используются следующие методы ограничения работы пользователей:
* фильтрация баннерной рекламы
* ограничение скачивания мультимедийных файлов по времени
* автоматическое вынесение активно качающих в особый спулер с ограниченными потоками и скоростью
=== Фильтрация нежелательных ресурсов ===
В случае, если через squid идет большой поток запросов, фильтрующие acl будут работать довольно медленно и целесообразно использовать другие методы фильтрации сайтов, [[Блокировка_сайтов_при_помощи_DNS|например при помощи DNS]].
В простейшем случае /etc/squid создаем подпапку hawk и кладем в нее следующий скрипт на bash, сортирующий списки по-алфавиту и попутно убирающий встреченные дубликаты:
#!/bin/bash
for i in `ls *.list`
do
#sort $i | uniq > $i.s && mv $i.s $i
cat $i | tr "[:upper:]" "[:lower:]" | sort | uniq > $i.s && mv $i.s $i
done
# Перегружаем сквид по желанию
#rcsquid reload
При использовании блокировок сервиса **OpenDNS**, можно заменить его сообщения на свои:
* 208.69.32.136 - ip адрес, который можно подставить в porn.list, на него происходит перенаправление в случае обращения к порно-ресурсу
* 208.69.32.133 - ip адрес, который можно подставить в fishban.list, на него происходит перенаправление в случае обращения к фишинговому ресурсу
Ссылки на использованные выше программы и списки.
==== Баннеры ====
Полный список можно взять в статье [[Списки заблокированных сайтов]]
.a.gismeteo.ru
.ad.adriver.ru
.ad.rambler.ru
.adbrite.com
.adbureau.net
.ads.rabota.ru
.ads.sixapart.com
.ads.sup.com
.adv.odnoklassniki.ru
.banner.fishki.net
.bannerbank.ru
.banners.rambler.ru
.bin-layer.de
.binimage.de
.counter.aport.ru
.counter.list.ru
.counter.rambler.ru
.doubleclick.net
.google-analytics.com
.googlesyndication.com
.hotlog.ru
.layer-ads.de
.linkexchange.ru
.popunder.ru
.smstraf.ru
.tns-counter.ru
.top.list.ru
.trafficcash.ru
.yadro.ru
"/usr/local/bin/redirector"
#!/usr/bin/perl
$0 = 'redirect' ;
$| = 1 ;
@banners = ('reklama\.ru/cgi-bin/banner/',
'anekdot\.ru/cgi-bin/banner/',
'banner\.ru/cgi/sites/',
'linkexchange\.ru/cgi-bin',
'bizlink\.ru/cgi-bin/irads\.cgi\?',
'bizlink\.ru/cgi-bin/cgiwrap/ar/irads\.cgi\?',
'ivd\.ru/bann/',
'include/banners/',
'rbc\.ru/bannerjvs/',
'vedomosti\.ru/var/bansrc/',
'inetinteractive\.com/banners/',
'cmpnet\.com/ads/',
'adfox\.ru/getCode',
'\.nnm\.ru/rec/',
'shchulkin\.com/cgi-bin/',
'ryazan\.ru/banner/',
'tourprom\.ru/krutilka/images/banners/',
'rzn\.info/ads/',
'homeweek\.ru/img/banners/',
'lbn\.ru/cgi-bin/iframe/',
'poku\.ru/yxo/download\.php',
'shchulkin\.com/banner/',
'plus-msk\.ru/digits\.php',
'plus-msk\.ru/img/banners/',
'anub\.ru/img/ad/',
'newsland\.ru/public/upload/banner',
'newsland\.ru/public/img/banner',
'rfn\.ru/cgi-bin/iframe/',
'7info\.ru/nb/',
'rp5\.ru/bnr/',
'rian\.ru/cgi-bin/iframe/',
'up\.spbland\.ru/ban',
'bash\.org\.ru/img/forex',
'joblist\.ru/banner/',
'yaplakal\.com/shum/ad/',
'winsov\.ru/img/banner',
'\.topcto\.ru/cgi-bin/',
'spbland\.ru/bban/',
'rose\.ixbt\.com/banner/',
'territory\.ru/banners/',
'morepc\.ru/banners/',
'/uploads/reklama/',
'rambler\.ru/top100/banner',
'sharereactor\.ru/banners/',
'87\.242\.91\.5/adfox/',
'sotovik\.ru/images/banner/',
'webpark\.ru/banners/',
'ryazan\.ru/banners/',
'redtram\.com/fcbs/',
'rzn\.info/ads/',
'rusdoc\.ru/pictures/banners/',
'/ssi/reklama/',
'mobbit\.info/adv/',
'nnm\.ru/ban/',
'isohunt\.com/a/banners/',
'fishki\.net/reklama/',
'sweb\.ru/ban/',
'exaccess\.ru/banners/',
'exaccess\.ru/asp/banner',
'overclockers\.ru/adimage',
'overclockers\.ru/images/banrz/',
'overclockers\.ru/partners/',
'overclockers\.ru/include/banners/',
'7news\.ru/ad/',
'hmn\.ru/fban/',
'kinoafisha\.ru/advert/',
'territory\.ru/image/banners/',
'lyngsat.com/adverts/',
'kpnemo\.ru/media/rekl/',
'ivd\.ru/count\.xgi\?',
'glasnet\.ru/PHP/banners/extview\.phtml\?',
'r\.mail\.ru/[a-zA-Z0-9]+\.(gif|jpg|swf)',
'world-art\.ru/baner',
'pics\.rbc\.ru/img/banpics/',
'195\.161\.119\.239/images/',
'www\.russianstory\.com/cgi-rs/showme\.cgi\?',
'www\.miklukho\.cadabra\.ru/cgi-bin/adsrc\.cgi\?',
'\.ru-board\.com/temp/',
'4smi\.ru/cgi-bin/iframe/',
'mnis\.ru/reklama/',
'binural\.ru/pictures/banner',
'pics\.rbc\.ru/rbcmill/img/',
'120\.goodoo\.ru/cgi-bin/banner/',
'ban\.clk',
'\.newsru\.com/banners/',
'az\.yandex\.ru/bshow',
'adv\.dll',
'images\.slashdot\.org/banner/',
'nnm\.ru/banner',
'nnm\.ru/bonga/show_banners\.php',
'/REKLAMA/',
'\.depositfiles\.com/img/adv/',
'\.aldebaran\.ru/images/recl/',
'depositfiles\.com/ru/ads_popup_redirect\.php',
'it-territory\.ru/images/1/',
'/res/adv/',
'imperz\.ru/im/ban/',
'prospero\.ru/cgi-bin/showban',
'2photo\.ru/reklama/',
'static\.oper\.ru/data/rennabs/',
'ruspaidmails\.com/ads-manager/banner_store/',
'217\.16\.26\.83/cgi-bin/iframe/',
'finbs\.ru/BannerSystem/',
'anekdotov\.net/show/uhi/',
'hpc\.ru/bans/',
'mbe\.ru/adrevolver/',
'195\.54\.209\.142/cgi-bin/img\?',
'gameland\.ru/code/ads/',
'om\.ru/adrot/banners/',
'om\.ru/adrot/ad\.cgi',
'www\.ru/banner/',
'exec\.osp\.ru/BS/sb\.php3',
'images\.internet\.com/ads/',
'izrukvruki\.ru/banners/',
'vts\.tass\.ru/images/',
'osdn\.com/banner/',
'mediaplex\.com/ad/bn/',
'yandex\.ru/yabs-stub/',
'chat\.ru/_sys_img/',
'cgi-bin/banner/',
'networkdoc\.ru/partner/',
'stat\.aport\.ru/show\.pl',
'prospero\.ru/cgi-bin/showprog',
'subscribe\.ru/banner/',
'/advert/images/',
'bpath\.com/gif\.cfm',
'anekdotov\.net/show',
'atas\.ru/show/',
'images\.rambler\.ru/upl/',
'images\.rambler\.ru/advert/',
'images\.go2net\.com/go2net/ads/',
'zdnet\.ru:80/banners/images/',
'zdnet\.ru/banners/images/',
'm2k\.ru/cgi-bin/',
'itc-ua\.com/viewban\.php',
'itc-ua\.com/vuho\.php',
'popular\.ru/image/',
'lib\.ru/KARTINKI/krutilka/',
'ixbt\.com/cgi-bin/show\.cgi',
'ixbt\.com/banner/',
'atlantic\.ru/banners/',
'russiantimes\.com/cgi-bin/ads/ads\.pl',
'translate\.ru/images/banners',
'204\.198\.135\.79/RealMedia/ads',
'lenta\.ru:9000/krutilka',
'anekdot\.ru:8083/banner',
'aifnet\.ru/images/banners',
'anekdot\.ru/reklama',
'linuxtoday\.com/RealMedia/ads/',
'xakep\.ru/code/ads',
'linux\.ru/ads',
'linux\.org\.ru/adv/',
'netvertising\.com\.ua/i\.php',
'professia\.ru/img/ban',
'job\.ru/images/banners',
'by\.ru/ad',
'194\.186\.36\.172:8080',
'195\.92\.95\.5/impression',
'cgi-bin/banner',
# price.ru
'price\.ru/images/price/adv/',
# counters
'statistic\.ru/perl/banner/banner\.pl',
'index99\.kiev\.ua/cgi-bin/count',
'195\.34\.34\.80/counter',
'194\.67\.23\.251/counter',
'counter\.rambler\.ru/top100\.cnt\?',
'217\.73\.192\.19/top100\.cnt?',
'one\.ru/cgi-bin/cnt\.cgi\?',
'infoart\.ru/cgi-bin/ihits/counter\.cgi\?',
'omsknet\.ru/resource/counting\.asp',
'ranker\.ru/scripts/rcounter\.dll',
'kmindex\.ru/cgi-bin/cgi2',
'linux\.ru\.net/counter\.ph',
'newmail\.ru/cgi-bin/ucount\.cgi',
'bigmir\.net/stat\.php',
'poseti\.com/cgi-bin/sys/poseti\.cgi',
'pocketpc\.com\.ua/cgi-bin/ppc/ppc\.cgi',
'yandex\.ru/cycounter'
);
while (<>) {
($url, $who, $ident, $method) = /^(\S+) (\S+) (\S+) (\S+)$/ ;
$url = 'http://www.rspu.ryazan.ru/1.gif'
if grep ($url=~/$_/i, @banners) ;
print "$url $who $ident $method\n" ;
}
==== Порно ====
Полный список можно взять в статье [[Списки заблокированных сайтов]]
"/etc/squid/hawk/porno.list"
.adulttraffic.ru
.allnudestars.ru
.cyberbabes.ru
.dosug.nu
.gay.ru
.izvrashenec.ru
.izvrat.info
.met-art.com
.moscowgay.ru
.moshonka.ru
.nudecelebs.ru
.porno.ru
.pornsms.ru
.razvrat.biz
.vpopku.com
.xuk.ru
==== Анонимайзеры ====
Полный список можно взять в статье [[Списки заблокированных сайтов]]
"/etc/squid/hawk/anonymizer.list"
.anonymizer.com
.anonymizer.ru
.anonymouse.ws
.httpproxy.info
.proxygeek.com
.proxyhero.com
.stupidproxy.com
.surf-anon.com
.unblockthis.com
==== Службы знакомств ====
Полный список можно взять в статье [[Списки заблокированных сайтов]]
"/etc/squid/hawk/love.list"
.bibigon.ru
.boct.org.ru
.crazylove.ru
.findyourdream.ru
.flirt.ru
.love-planet.ru
.love.rambler.ru
.love.ru
.mamba.ru
==== Он-лайн игры ====
Полный список можно взять в статье [[Списки заблокированных сайтов]]
"/etc/squid/hawk/gamez.list"
.apeha.ru
.arena.ru
.bitefight.ru
.carnage.ru
.crazykings.ru
.dowars.org
.dozory.ru
.dwar.ru
.fantasyland.ru
.games.mail.ru
.ganjawars.ru
.gdworld.ru
.gop-stop.ru
.haddan.ru
.lineage.ru
.motorwars.ru
.neverlands.ru
.postnuclear.ru
.territory.ru
.the-game.ru
.zuki.mail.ru
==== Игры соц. сетей ====
Основная статья: [[Блокировка приложений в социальных сетях]]
Полный список можно взять в статье [[Списки заблокированных сайтов]]
==== Разнообразные "тяжелые"ресурсы, rapidshare, zaycev.net etc ====
"/etc/squid/hawk/vari.list"
.11mbit.de
.11mbit.in
.2shared.com
.3mp3.ru
.4shared.com
.adorablebunnies.com
.allfiles.ru
.aqache.com
.axifile.com
.badongo.com
.badongo.net
.base.zaycev.net
.best-mp3.ru
.bestsharing.com
.bigfileupload.com
.bigfilez.com
.bigupload.com
.bonpoo.com
.box.net
.briefcase.yahoo.com
.come2store.com
.content-type.com
.crazefiles.com
.cyberupload.com
.datenklo.net
.depositfiles.com
.divshare.com
.dload.net.ru
.dossya.com
.dosyaekle.com
.downloads.games.mail.ru
.downloads.nevosoft.ru
.downloads.winsov.ru
.dropboks.com
.dropload.com
.dump.ru
.dwar.ru
.easy-share.com
.easy-sharing.com
.easyfilehost.com
.egoshare.com
.esnips.com
.eufiles.com
.f-forge.com
.file-upload.net
.file.raid.ru
.file2all.com
.file2share.biz
.filebest.ru
.filebuffer.net
.filecache.de
.filecloud.com
.filecoast.com
.filefactory.com
.fileforwarding.com
.filegone.com
.filegu.ru
.filehd.com
.fileho.com
.filehost.ro
.filehoster.ru
.filepost.ru
.files.to
.files.trubka.net
.fileshare.in.ua
.filespace.ru
.filestock.ru
.filesurf.ru
.free-transfer.de
.freefileupload.net
.freespace.filefront.com
.freeuploader.com
.friendlyshare.de
.ftp.intv.ru
.ftp.predanie.ru
.ftpz.us
.fupload.com
.getalbums.ru
.getfile.biz
.getupload.com
.gigasize.com
.hackz.nu
.hellreapers.com
.hemenpaylas.com
.hotfile.ru
.hyperupload.com
.hyperupload.net
.ibox.org.ua
.icefile.net
.ifolder.ru
.internetfiles.org
.ipload.ru
.jumbofile.com
.justupit.com
.keepmyfile.com
.letitbit.net
.live-share.com
.load.to
.mailbigfile.com
.mediafire.com
.meetfile.com
.megashares.com
.megaupload.com
.mihd.net
.mnogomp3.net
.momoshare.com
.mooload.com
.mp3ex.net
.mp3real.ru
.mp3shek.net
.musicfond.com
.muslib.ru
.muzudar.ru
.mysharebox.com
.mytempdir.com
.myupload.biz
.netload.in
.netload.us
.nitroushosting.net
.obmen.borges.ru
.openfile.ru
.openupload.com
.orb-z.com
.oreys.com
.oxyshare.com
.p-file.com
.pesenki.ru
.pirateshare.net
.poku.ru
.prouploads.com
.putfile.com
.qfile.de
.quickdump.com
.quickshareit.com
.rapidfile.fr
.rapidsafe.de
.rapidshare.com
.rapidshare.de
.rapidshare.fr
.rapidshare.ru
.rapidsharing.com
.rapidupload.com
.recfile.com
.refrozen.com
.remx.ru
.rghost.ru
.s2.befile.ru
.s2.lolo.ru
.savefile.com
.scambia.com
.sceneworld.net
.send-file.co.uk
.sendmefile.com
.sendover.com
.sendspace.com
.sexuploader.com
.shara.by
.share.am
.share.dewil.ru
.sharebigfile.com
.sharefiles.ru
.sharemania.ru
.shareua.com
.sharing.ru
.simpleupload.de
.slil.ru
.snaggys.com
.speedshare.org
.speedyshare.com
.spread-it.com
.ssfiles.com
.storeandserve.com
.streamupload.com
.supashare.com
.supload.com
.sweniger.de
.takdata.com
.theupload.com
.theupload.info
.transferbigfiles.com
.tryor.com
.turboshare.de
.turboupload.com
.ultrashare.de
.ultrashare.net
.up-file.com
.up.li.ru
.up.spbland.ru
.updownloadserver.de
.upitus.com
.upload-file.net
.upload.com.ua
.upload.sc
.upload2.com
.upload2.net
.uploaded.to
.uploadfile.org
.uploadfront.com
.uploadhut.com
.uploading.com
.uploadport.com
.uploadready.com
.uploadsend.com
.uploadtemple.com
.uploadtown.com
.uploadyourfiles.de
.ushareit.com
.webattach.mail.yandex.net
.webfile.ru
.webfilehost.com
.weborama.ru
.weekshare.com
.wikiupload.com
.willhostforfood.com
.wyslijto.pl
.xtrafile.com
.yourfile.net
.yourfile.org
.yourfilehost.com
.yourfilelink.com
.yousendit.com
.zhube.com
.zippyvideos.com
.zshare.net
.zupload.com
"/etc/squid/hawk/varihard.list"
213.248.53.147
64.132.55.2
70.86.218.194
81.176.228.54
89.108.95.72
==== Жестко блокируемые ресурсы ====
"/etc/squid/hawk/hardban"
80.240.210.196
81.177.17.74
87.242.72.62
69.22.135.239
216.195.35.111
69.22.132.77
69.22.135.128
63.217.31.62
76.9.5.67
38.119.121.228
88.85.81.30
208.72.170.72
208.122.223.2
208.122.223.4
62.129.129.0/24
80.77.113.31
64.72.118.35
193.138.224.216
69.31.115.196
208.72.170.66
208.69.32.136
87.242.76.77
==== Подсети ICQ ====
"/etc/squid/hawk/icqban.list"
152.163.159.0/24
152.163.208.0/24
194.186.55.0/24
194.67.23.0/24
205.188.0.0/16
61.12.161.0/24
61.12.174.0/24
61.12.51.0/24
64.12.0.0/16
==== Mail.ru Agent ====
"/etc/squid/hawk/mailabandst.list"
.exe.agent.mail.ru
.mrim.mail.ru
.mrim1.mail.ru
.mrim10.mail.ru
.mrim11.mail.ru
.mrim12.mail.ru
.mrim13.mail.ru
.mrim14.mail.ru
.mrim15.mail.ru
.mrim16.mail.ru
.mrim17.mail.ru
.mrim18.mail.ru
.mrim19.mail.ru
.mrim2.mail.ru
.mrim20.mail.ru
.mrim21.mail.ru
.mrim22.mail.ru
.mrim23.mail.ru
.mrim24.mail.ru
.mrim25.mail.ru
.mrim26.mail.ru
.mrim27.mail.ru
.mrim28.mail.ru
.mrim29.mail.ru
.mrim3.mail.ru
.mrim30.mail.ru
.mrim31.mail.ru
.mrim4.mail.ru
.mrim5.mail.ru
.mrim6.mail.ru
.mrim7.mail.ru
.mrim8.mail.ru
.mrim9.mail.ru
==== Фишинговые сервера ====
**/etc/squid/hawk/fishban**
208.69.32.133
==== Заблокированных ресурсов для учебных классов и Wi-Fi ====
"/etc/squid/hawk/classesban.list"
.689.ru
.allnokia.ru
.bash.org.ru
.binmovie.ru
.clipov.net
.demonoid.com
.depositfiles.com
.dimonvideo.ru
.dl.ibox.org.ua
.dload.net.ru
.dmp3.net
.facebook.com
.filepost.ru
.fishki.net
.flickr.com
.ftp.intv.ru
.games.mail.ru
.gigasize.com
.goroskop.ru
.icq.com
.icqproxy.org
.ifolder.ru
.jetune.ru
.kpnemo.ru
.letitbit.net
.liveinternet.ru
.login.oscar.aol.com
.moikrug.ru
.mp3.ru
.mp3area.ru
.mp3chudo.ru
.mp3darom.ru
.mp3ex.net
.mp3real.ru
.mp3share.ru
.mp3shek.net
.mp3valey.net
.musicfond.com
.musicmp3.spb.ru
.muzmp3.net
.muzudar.ru
.mxwarez.net
.myspace.com
.myzuka.ru
.netz.ru
.nnm.ru
.odnoklassniki.ru
.onsmartphone.com
.otpada.net
.penreader.com
.phazeddl.com
.phazep2p.com
.playhard.ru
.poku.ru
.qip.ru
.quickshareit.com
.rapidshare.com
.rumusic.net
.rutube.ru
.s2.befile.ru
.s2.lolo.ru
.sentero.net
.shara.by
.share.dewil.ru
.sharereactor.ru
.skachivai.ru
.smspricol.ru
.symbiware.ru
.torrents.ru
.uploading.com
.video.mail.ru
.vision.rambler.ru
.vkontakte.ru
.weborama.ru
.wzor.info
.wzor.net
.x-pirat.ru
.xlifes.ru
.youtube.com
.zaycev.net
.zetme.ru
.ziza.ru
.zshare.net
.zvezdi.ru
"/etc/squid/hawk/wifiban.list"
.689.ru
.binmovie.ru
.clipov.net
.demonoid.com
.depositfiles.com
.dimonvideo.ru
.dl.ibox.org.ua
.dload.net.ru
.dmp3.net
.filepost.ru
.ftp.intv.ru
.games.mail.ru
.gigasize.com
.goroskop.ru
.ifolder.ru
.jetune.ru
.kpnemo.ru
.letitbit.net
.mp3.ru
.mp3area.ru
.mp3chudo.ru
.mp3darom.ru
.mp3ex.net
.mp3real.ru
.mp3shek.net
.mp3valey.net
.musicfond.com
.musicmp3.spb.ru
.muzmp3.net
.muzudar.ru
.mxwarez.net
.myzuka.ru
.netz.ru
.nnm.ru
.otpada.net
.phazeddl.com
.phazep2p.com
.playhard.ru
.poku.ru
.qip.ru
.quickshareit.com
.rapidshare.com
.rumusic.net
.rutube.ru
.s2.befile.ru
.s2.lolo.ru
.sentero.net
.shara.by
.share.dewil.ru
.sharereactor.ru
.skachivai.ru
.smspricol.ru
.symbiware.ru
.torrents.ru
.uploading.com
.video.mail.ru
.vision.rambler.ru
.weborama.ru
.wzor.info
.wzor.net
.x-pirat.ru
.xlifes.ru
.youtube.com
.zaycev.net
.zetme.ru
.ziza.ru
.zshare.net
.zvezdi.ru
В более общем случае может возникнуть желание на редактирование черных списков через веб-интерфейс. Тогда структура каталогов будет несколько иная. Файлы *.list с правами 0666 кладем в /srv/www/htdocs/modbanlists/ и создаем символические ссылки в /etc/squid/hawk:
chmod 0666 *.list
ln -s /srv/www/htdocs/modbanlists/*.list /etc/squid/hawk/
Написание веб-интерфейса для редактирования не представляет особой сложности.
Кладем скрипт в **cron.hourly**, следящий за изменением списков, сортирующий их по алфавиту, удаляющий дубликаты и перегружающий сквид при необходимости:
#!/bin/bash
cd /srv/www/htdocs/modbanlists/
qfile="/var/tmp/squid_banlists_chekmodify.txt"
qfileatime="$qfile.time"
# Checking if any list was edited & modifying qfile
for i in `ls *.list`
do
file="/srv/www/htdocs/modbanlists/$i"
fileatime="/srv/www/htdocs/modbanlists/$i.time"
logfile="/var/log/squid/watchdog.log"
a=""
b=""
[ ! -f $fileatime ] && stat $file | grep Modify > $fileatime || : [ -f $fileatime ] && a="$(cat $fileatime)" || exit 1
b="$(stat $file | grep Modify)"
if [ "$a" != "$b" ]; then
echo "Sorting $i & removing duplines..."
#sort $i | uniq > $i.s && mv $i.s $i
cat $i | tr "[:upper:]" "[:lower:]" | sort | uniq > $i.s && mv $i.s $i
echo "Modifying time for $i..."
# update time
stat $file | grep Modify > $fileatime
chown wwwrun.www $i
date > $qfile
fi
done
# Checking qfile & reloading squid if needed
file=$qfile
fileatime=$qfileatime
logfile="/var/log/squid/watchdog.log"
[ ! -f $fileatime ] && stat $file | grep Modify > $fileatime || : [ -f $fileatime ] && a="$(cat $fileatime)" || exit 1
b="$(stat $file | grep Modify)"
if [ "$a" != "$b" ]; then
echo "Restarting server...."
rcsquid reload
# update time
stat $file | grep Modify > $fileatime
echo "----" >> $logfile
date >> $logfile
echo "Squid reloaded by banlists watchdog:" >> $logfile
fi
==== Ограничители скачивания ====
=== правило для определенных типов файлов по расширению ===
**/etc/squid/hawk/restfiles**
\.[Aa][Vv][Ii]$
\.[Mm][Pp][Gg]$
\.[Mm][Pp][Ee][Gg]$
\.[Mm][Pp]3$
\.[Oo][Gg][Gg]$
\.[Ww][Mm][Aa]$
\.[Ww][Mm][Vv]$
\.3[Gg][Pp]$
\.[Ww][Aa][Vv]$
\.[Ii][Ss][Oo]$
\.[Mm][Oo][Vv]$
\.[Ff][Ll][Vv]$
\.[Ii][Ff][Ll][Vv]$
=== Работа с "качками" ===
==== Вариант 1: Sarg ====
Устанавливаем пакет [SARG|http://sarg.sourceforge.net/]. Rpm и src.rpm-пакеты для SuSE доступны по следующему адресу: http://sarg.sourceforge.net/suse.php
cd /usr/local/src
wget "http://sarg.sourceforge.net/sarg-2.0.7-vhs.src.rpm"
rpmbuild --rebuild sarg-2.0.7-vhs.src.rpm
rpm -Uvh /usr/src/packages/RPMS/ppc64/sarg*
Идентификация черезмерно активных пользователей производится следующим образом:
**/etc/sarg.conf**
per_user_limit /etc/squid/sarg/auto_loaderz.pool 150
При генерации саргом отчетов в течении дня в текстовый файл попадают пользователи, скачавшие более 150 мб. Следует помнить, что sarg сам не различает временные интервалы, за которые считает объем, т.е. необходимо четко осознавать, за какой период выставляется ограничение и каким образом производить ротацию логов, чтобы добиться необходимого эффекта.
В нашем случае мониторинг активности включает в себя суточный интервал.
Модификация squid.conf включает себя отдельный пул для провинившихся с жесткими ограничениями количества одновременно используемых потоков (maxconn) и скорости (delay_pools)
Подключение и установку правил для пула "качков" необходимо проводить до работы остальных правил.
**/etc/squid/squid.conf**
acl loaderz proxy_auth "/etc/squid/pools/auto_loaderz.pool"
Чтобы squid самостоятельно подхватывал изменения в файле auto_loaderz.pool а не при ручной перезагрузке, используется следующий скрипт:
**/etc/cron.hourly/squid_reload**
#!/bin/bash
file="/etc/squid/sarg/auto_loaderz.pool"
fileatime="/etc/squid/sarg/auto_loaderz.time"
logfile="/var/log/squid/watchdog.log"
a=""
b=""
[ ! -f $fileatime ] && stat $file | grep Modify > $fileatime || : [ -f $fileatime ] && a="$(cat $fileatime)" || exit 1
b="$(stat $file | grep Modify)"
if [ "$a" != "$b" ]; then
echo "Restart server...."
rcsquid reload
# update time
stat $file | grep Modify > $fileatime
echo "----" >> $logfile
echo "Squid reloaded by loaderz watchdog:" >> $logfile
date >> $logfile
fi
Обнуление файла auto_loaderz.pool происходит раз в 2 недели.
==== Вариант 2: LightSquid ====
Скачиваем последнюю версию с сайта разработчика http://lightsquid.sourceforge.net, распаковываем ее в директорию **/srv/www/cgi-bin/light/**
tar xvfz /usr/local/src/lightsquid-1.7.1.tgz /srv/www/cgi-bin/light
Правим конфигурационный файл:
**lightsquid.cfg**
# Пути к файлам
$cfgpath ="/srv/www/cgi-bin/light";
$tplpath ="/srv/www/cgi-bin/light/tpl";
$langpath ="/srv/www/cgi-bin/light/lang";
$reportpath ="/srv/www/cgi-bin/light/report";
$logpath ="/var/log/squid";
$ip2namepath ="/srv/www/cgi-bin/light/ip2name";
# Адреса и домены локальных ресурсов
$skipurl = "\.our.lan|\.example\.com";
$lang ="ru-utf8";
# Не показываем колонку с группами
$showgrouplink = 0;
# выделяем особо превысивших лимит
$showoversizelink = 1;
# cсмотрим не только GET, но и PUT/POST статистику
$showputpost = 1;
# Сопоставляем реальные имена сотрудников с их логинами
$userealname = 1;
# Сколько мегабайт считать превышением траффика, для нас это 150 мб
$perusertrafficlimit = 150*1024*1024;
Создаем файл
touch /usr/local/sbin/run_lightparse.sh
**run_lightparse.sh**
#!/bin/bash
cd /srv/www/cgi-bin/light
./lightparser.pl
и помещаем его в cron. Мы используем обновление статистики раз в 15 минут:
**/etc/cron.d/lightparse**
*/15 * * * * root /usr/local/sbin/run_lightparse > /dev/null
После запуска, отчеты LightSquid становятся доступны по адресу http://localhost/cgi-perl/light/index.cgi
==== Скрипт подсчета "качков" ====
Поскольку lightsquid не имеет нормального механизма сопряжения со squid при подсчете траффика, используем для этих целей следующий скрипт (обратите внимание на ip-адреса исключений):
#!/bin/bash
# Лог сквида
FI="/var/log/squid/access.log"
# Временная директория с файлами качков
FD="/tmp/traffe"
# Лог-файл перезагрузок сквида
FO="/var/log/squid/watchdog.log"
# Лог файл для web-отчета
FW="/srv/www/htdocs/auto_loaderz.txt"
# ACL-файл для сквида
FA="/etc/squid/sarg/auto_loaderz.pool"
# Сколько мегабайт считать нормой для скачивания
LIM="200"
# Сколько дней держать качков в карантине
DLIM="4"
# Пользователи через пробел, whitelisted
WHLIST="apetrov iivanov"
# ----------------------------------
cd $FD
echo "---" >> $FO
awk -v trlim="$LIM" -v outd="$FD" 'BEGIN {
print "none";
} {
if(index($4,"TCP_MISS")!=0 && \
index($9,"192.0.2.")==0 && \
index($9,"198.51.100.")==0 && \
index($9,"203.0.113.")==0 && \
index($9,"NONE")==0 && \
($6=="GET" || $6=="POST") && index($8,"-")==0) {
w[$8]=w[$8]+$5;
}
} END {
format = "%a %b %e %H:%M:%S %Z %Y";
current_time=strftime(format)
for(i in w) {
j=j+w[i];
if((w[i]/1048576)>trlim) {
print i," ",current_time," ",(w[i]/1048576),"mbytes";
print i,"\t",current_time,"\t",(w[i]/1048576),"mbytes" > i;
}
}
}' < $FI >> $FO
rm $WHLIST
cp $FA $FA.old
find $FD \! -type d -mtime +$DLIM -exec rm {} \;
echo "none" > $FA
ls $FD >> $FA
DI=`diff $FA $FA.old`
if [ "$DI" != "" ]
then
echo " " >> $FO
date >> $FO
echo "Changes detected, reloading squid!" >> $FO
rcsquid reload
fi
rm $FA.old
echo "Пользователи с ограниченным доступом:" > $FW
echo " " >> $FW
ls | xargs cat >> $FW
=== Tips & tricks ===
== Проверка работоспособности прокси-сервера и интернет канала ==
Scripts to check internet connection through http-proxy. Both of them should be placed to cronjob with different times - first with smth about 5 minutes & the second as you wish - it only sends mail regularly.
Основная статья: [[Internet connection checker]]
=== Skype и авторизация на прокси-сервере ===
Клиент Skype не может работать в связке с прокси-сервером, использующим авторизацию. Чтобы обойти это ограничение необходимо проделать небольшой трюк:
acl numeric_IPs url_regex ^(([0-9]+\.[0-9]+\.[0-9]+\.[0-9]+)|(\[([0-9af]+)?:([0-9af:]+)?:([0-9af+)?\])):443
acl Skype_UA browser ^skype^
http_access allow CONNECT localnet numeric_IPS Skype_UA
=== Ищем анонимайзеры в логе Squid ===
Найдем, к каким сайтам происходит наибольшее число обращений в текущем log-файле:
awk -F "/" '{ print $4; }' < /var/log/squid/access.log | sort | uniq -c | sort -n -r | head -n 20
или в архиве:
bunzip2 -c access.log-20100529.bz2 | awk -F "/" '{ print $4; }' | sort | uniq -c | sort -n -r | head -n 20
И внимательно смотрим на сайты из списка. Баннерные сети и анонимайзеры отлавливаются на раз.
== Cсылки ==
* http://www.bog.pp.ru/work/squid.html
* http://wiki.squid-cache.org/ConfigExamples/Chat/Skype
* http://xgu.ru/wiki/Squid