Анализ сетевого трафика с помощью NetFlow

Сама сеть, это 43 города соединённые через (как это у них сказано) мульти-гигабит, к ним подключены все университеты Германии и почти все другие научные учреждения (линии от 2 Mbit до 10 Gbit). Почти все школы включены через DSL/ISDN.

Трафик теперь никому не считают. На счёт линии не совсем понятно, написано только что заказывать её надо самому у кого хочешь. Подключиться может каждый, кто хоть как-то связан с наукой.

А вот цены на Cluster, т.е. когда несколько клиентов используют одну линию/одно подключение (цена каждому конечно).

Я подключён к ним вот так: местный телефонист даёт DSL линию (у меня 4300/725 Kb) до моего университета, а тот подключён к сети (X-WIN) через 1 Gigabit. Стоит 35 евро в месяц (DSL 4000 и 2 ISDN-канала для телефона).

Andreas Werschbowski

Обновление в разделах

• Дополнены в Фотографии сетевого оборудования - 3Com 4900.
• В оглавлении выложен архив обзоров за 2005 год. Так как общий объем - около 400 Мб, он разделен на четыре части "поквартально".
• В разделе shop.nag.ru можно просто посмотреть новые поступления. Обновлена примерно 1/4 ассортимента, цены заметно снижены на едва ли не на половину позиций...

Анализ сетевого трафика с помощью NetFlow.

Автор Эдуард Афонцев

4.2. Flow-tools

Наиболее развитые средства анализа NetFlow данных обеспечивают соответствующие утилиты из комплекта flow-tools. Рассмотрим их подробнее.

Просмотр данных обеспечивает flow-print (дополнительно можно форматировать вывод опцией -f):

UNIX # cat /netflow/* | flow-print | less

Более гибкой является комбинация flow-print и flow-cat.

Просмотр информации до указанного времени:

UNIX # flow-cat -t "15:00" /netflow/2005/2005-02/2005-02-18/ | flow-print | less
UNIX # flow-cat -t "2005-02-18 15:00" /netflow/2005/2005-02/2005-02-18/ | flow-print | less

Просмотр информации после указанного времени:

UNIX # flow-cat -T "15:00" /netflow/2005/2005-02/2005-02-18/ | flow-print | less
UNIX # flow-cat -T "2005-02-18 15:00" /netflow/2005/2005-02/2005-02-18/ | flow-print | less

Анализ данных некоторого временного интервала:

UNIX # flow-cat -t "14:00" -T "15:00" /netflow/2005/2005-02/2005-02-18/ | flow-print | less
UNIX # flow-cat -t "03/23/05 9:00" -T "03/23/05 8:00" /netflow

Некоторую статистику можно получить, используя flow-stat. Утилита позволяет форматировать данные по IP адресам (-f FORMAT) и сортировать (-s, -S).

Пример построения суммарного отчета:

UNIX # cat /netflow/2005/2005-02/2005-02-18/ft-v05.2005-02-18.124221+0500 | flow-stat -f 0 | less

# --- ---- ---- Report Information --- --- ---
#
# Fields: Total
# Symbols: Disabled
# Sorting: None
# Name: Overall Summary
#
# Args: flow-stat -f 0
#
Total Flows : 24371
Total Octets : 55501363
Total Packets : 184670
Total Time (1/1000 secs) (flows): 55133888
Duration of data (realtime) : 303
Duration of data (1/1000 secs) : 1619965508
Average flow time (1/1000 secs) : 2262.0000
Average packet size (octets) : 300.0000
Average flow size (octets) : 2277.0000
Average packets per flow : 7.0000
Average flows / second (flow) : 0.0150
Average flows / second (real) : 80.4323
Average Kbits / second (flow) : 0.2741
Average Kbits / second (real) : 1465.3825

IP packet size distribution: 1-32 64 96 128 160 192 224 256 288 320 352 384 416 448 480
.004 .338 .269 .088 .064 .030 .028 .014 .009 .006 .005 .009 .016 .025 .001

512 544 576 1024 1536 2048 2560 3072 3584 4096 4608
.049 .002 .002 .020 .020 .000 .000 .000 .000 .000 .000

Packets per flow distribution: 1 2 4 8 12 16 20 24 28 32 36 40 44 48 52
.423 .078 .087 .157 .187 .019 .011 .008 .008 .005 .002 .003 .003 .001 .001

60 100 200 300 400 500 600 700 800 900 >900
.001 .003 .001 .000 .000 .000 .000 .000 .000 .000 .001

Octets per flow distribution: 32 64 128 256 512 1280 2048 2816 3584 4352 5120 5888 6656 7424 8192
.002 .205 .115 .095 .193 .298 .032 .010 .007 .003 .004 .003 .003 .002 .001

8960 9728 10496 11264 12032 12800 13568 14336 15104 15872 >15872
.001 .003 .001 .001 .001 .001 .001 .000 .001 .001 .017

Flow time distribution: 10 50 100 200 500 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
.449 .019 .051 .058 .070 .067 .145 .031 .030 .009 .008 .005 .004 .012 .008

12000 14000 16000 18000 20000 22000 24000 26000 28000 30000 >30000
.007 .004 .005 .003 .002 .003 .001 .001 .001 .001 .008

Выявление активных генераторов трафика:

UNIX # сat /netflow/2005/2005-02/2005-02-18/ft-v05.2005-02-18.124221+0500 | flow-stat -f 9 -S 2 | less

# --- ---- ---- Report Information --- --- ---
#
# Fields: Total
# Symbols: Disabled
# Sorting: Descending Field 2
# Name: Source IP
#
# Args: flow-stat -f 9 -S 2
#
#

Выявление активных потоков:

UNIX # cat /netflow/2005/2005-02/2005-02-18/ft-v05.2005-02-18.124221+0500 | flow-stat -f 10 -S 3 | less

# --- ---- ---- Report Information --- --- ---
#
# Fields: Total
# Symbols: Disabled
# Sorting: Descending Field 3
# Name: Source/Destination IP
#
# Args: flow-stat -f 10 -S 3
#
#

Для гибкой фильтрации можно использовать утилиты flow-filter и flow-nfilter. Последняя является более продвинутой и обеспечивает расширенные возможности.

Для использования flow-nfilter необходимо создать конфигурационный файл с описанием фильтров - filter.acl:

filter-primitive client-ip
type ip-address
permit 195.12.69.199
default deny

filter-primitive www
type ip-port
permit 80
default deny

filter-definition all-from-client
match ip-source-address client-ip

filter-definition all-to-client
match ip-destination-address client-ip

filter-definition www-to-client
match ip-destination-address client-ip
match ip-source-port www

Далее можно использовать фильтрацию. Например, для анализа всего трафика к клиенту:

UNIX # flow-cat -t "9:00" -T "12:00" /netflow/2006/2006-01/2006-01-06/ | flow-nfilter -f filter.acl -F all-to-client | flow-print | less

Или для анализа только www трафика клиента.

UNIX # flow-cat -t "9:00" -T "12:00" /netflow/2006/2006-01/2006-01-06/ | flow-nfilter -f filter.acl -F www-to-client | flow-print | less

Для выявления фактов сканирования или заражения рекомендуется использование утилиты flow-dscan.

Приведем простейший пример детектирования источников сканирования по 135 порту:

UNIX # touch dscan.suppress.src

UNIX # touch dscan.suppress.dst

UNIX # flow-cat -t "9:00" -T "12:00" /netflow/2006/2006-01/2006-01-06/ | flow-filter -P 135 | flow-dscan -b | less

flow-dscan: load_suppress 0
flow-dscan: load_suppress 1
flow-dscan: host scan: ip=219.161.100.213 ts=1136524997 start=0106.10:23:17.726
flow-dscan: host scan: ip=213.168.117.86 ts=1136529053 start=0106.11:30:53.162

В заключении приведем примеры детектирования сетевых аномалий с помощью flow-tools.

Выявление активных генераторов пакетов на 135 порт:

UNIX # flow-cat -t "9:00" -T "12:00" /netflow/2006/2006-01/2006-01-06/ | flow-filter -P 135 | flow-stat -f 9 -S 2 | less

# --- ---- ---- Report Information --- --- ---
#
# Fields: Total
# Symbols: Disabled
# Sorting: Descending Field 2
# Name: Source IP
#
# Args: flow-stat -f 9 -S 2
#
#

Выявление сканирования 445 порта (или вирусной активности):

UNIX # flow-cat -t "9:00" -T "12:00" /netflow/2006/2006-01/2006-01-06/ | flow-filter -P 445 | flow-dscan -b -S 2000

flow-dscan: load_suppress 0
flow-dscan: load_suppress 1
flow-dscan: host scan: ip=195.146.34.156 ts=1136520666 start=0106.09:11:06.250
flow-dscan: host scan: ip=217.36.205.230 ts=1136520870 start=0106.09:14:30.387
flow-dscan: host scan: ip=58.93.7.15 ts=1136522170 start=0106.09:36:10.113
flow-dscan: host scan: ip=64.108.214.217 ts=1136522220 start=0106.09:37:00.770
flow-dscan: host scan: ip=209.136.9.176 ts=1136523394 start=0106.09:56:34.950
flow-dscan: host scan: ip=60.20.220.247 ts=1136525268 start=0106.10:27:48.357
flow-dscan: host scan: ip=195.52.201.172 ts=1136527136 start=0106.10:58:56.120
flow-dscan: host scan: ip=71.241.68.118 ts=1136527305 start=0106.11:01:45.140
flow-dscan: host scan: ip=195.161.147.148 ts=1136527980 start=0106.11:13:00.352

4.3. Flowscan.

Среди множества утилит, работающих с NetFlow, невозможно не отметить flowscan [3]. С ее помощью можно получать подробную визуализацию потоков с распределением по протоколам, что облегчает задачу мониторинга и выявления нештатных ситуаций.

Анонс

• Вслед за США диапазон 71-76/81-86 ГГц принят для коммерческого использования в Европе. Россия на очереди?
• Магистральная дедовщина;
• Письма про ADSL (анлимит в US);
• Абонентский вынос в Новосибирске, серверная в РГРТА, кабель на лестничной площадке, и другие зарисовки узлов разных провайдеров. Вечная тема (много фотографий гарантировано);
• Традиционный пункт - ссылки на интересные места Сети. Присылайте письма - они очень нужны для обзоров. Обязательно сообщайте, нужна ли Ваша подпись, ссылка, или лучше обойтись без нее;
• В "ужастиках" - кабельная прокладка в Евпатории.

• Послегрозовой ремонт управляемых коммутаторов (надеюсь дойдут руки);
• Не все Vlan'ы одинаково полезны;
• Публичный проект сети в небольшом городе (именно они выходят на первый, авангардный план интернатизации России, в мегаполисах "уже все давно ясно"). Т.е. еженедельные отчеты о строительстве и работе "с нуля".