Jump to content
HalfHuman

Утечка ресурсов KES10 SP1 MR3 Windows 7sp1/10/2008r2 64x [В процессе] [2111228]

Recommended Posts

Добрый день!

Обновились до KES 10 SP1 MR3 с KES10 SP1 MR2 (у меня пишет версию "10.2.5.3201 (mr2, mr3)"), машины Windows 7sp1/10/2008r2sp1 x64, с последними обновлениями Windows. Сервер KSC.

К сожалению, серверы тоже обновили, один успели перегрузить, на нем и обратили внимание на проблему.

При исследовании почему сервер не работает как положено (перестали отрабатывать запущенные на нем процессы) было обнаружено 1 271 528 дескрипторов, скрин снял. Машина еле живая. До остановки/запуска защиты из трея добраться не удалось - при наведении курсора не значок KES10 в трее только песочные часы, убить и запустить explorer.exe не помогало. В тот момент перезагрузили сервер.

В другой раз (набралось "всего" 560 тысяч дескрипторов) удалось перезапустить процесс, используя серверный функционал Утилита удаленной диагностики - остановить Kaspersky Endpoint Security 10 для Windows. Процесс avp.exe от имени системы умер со всем своим добром и появился новый, который сейчас спустя 6 часов 11 минут после перезапуска использует 231453 дескрипторов.

Аналогичное поведение (в меньшей степени, например на моей - за 14 дней 6 часов "всего" 30477 дескриптора) обнаружено на обновленных рабочих станциях.

Включены все типы защит кроме "Контроль активности программ" и "Мониторинг уязвимостей".

на сервере установлены и работают все три защиты - "Файловый антивирус", "Сетевой экран" и "Защита от сетевых атак".

Базы сегодняшние от 13:35.

process explorer показывает дикое количество дескрипторов типа Token (в по отношению положения текущей позиции в окне прокрутки списка дескрипторов), в меньшей степени Event, Semaphores, Processes. А сколько открыто ресурсов типа File - так это я так понял, что это каждый файл отчета заранее открыт, мало ли когда кому надо записать.

для статистики (с моей рабочей станции):

C:\>handle.exe -a -p 2504 | unxutils\gawk "{print $2}" | unxutils\sort | unxutils\uniq -c | unxutils\sort -n -r

25092 Token

1560 File

1471 Event

1280 Semaphore

551 Process

207 Thread

167 Key

79 EtwRegistration

53 Mutant

41 IoCompletion

26 ALPC

19 Section

8 TpWorkerFactory

4 Timer

4 Directory

2 WindowStation

1 KeyedEvent

1 Desktop

 

на сервере:

252398 Token

1557 Process

1066 Semaphore

447 Event

165 File

153 Thread

89 Key

44 EtwRegistration

31 IoCompletion

26 Mutant

22 ALPC

18 Section

8 TpWorkerFactory

4 Timer

4 Directory

2 WindowStation

1 KeyedEvent

1 Desktop

 

Есть предположение, что запуск процессов в системе порождает утечку. На сервере много процессов постоянно перезапускается.

 

Я так понимаю, с таким глюком нам жить до MR4 (рассчитываю не более чем на полгода) или предполагается более скорое решение?

 

 

Edited by HalfHuman

Share this post


Link to post
Добрый день!

Обновились до KES 10 SP1 MR3 с KES10 SP1 MR2 (у меня пишет версию "10.2.5.3201 (mr2, mr3)"), машины Windows 7sp1/10/2008r2sp1 x64, с последними обновлениями Windows. Сервер KSC.

К сожалению, серверы тоже обновили, один успели перегрузить, на нем и обратили внимание на проблему.

При исследовании почему сервер не работает как положено (перестали отрабатывать запущенные на нем процессы) было обнаружено 1 271 528 дескрипторов, скрин снял. Машина еле живая. До остановки/запуска защиты из трея добраться не удалось - при наведении курсора не значок KES10 в трее только песочные часы, убить и запустить explorer.exe не помогало. В тот момент перезагрузили сервер.

В другой раз (набралось "всего" 560 тысяч дескрипторов) удалось перезапустить процесс, используя серверный функционал Утилита удаленной диагностики - остановить Kaspersky Endpoint Security 10 для Windows. Процесс avp.exe от имени системы умер со всем своим добром и появился новый, который сейчас спустя 6 часов 11 минут после перезапуска использует 231453 дескрипторов.

Аналогичное поведение (в меньшей степени, например на моей - за 14 дней 6 часов "всего" 30477 дескриптора) обнаружено на обновленных рабочих станциях.

Включены все типы защит кроме "Контроль активности программ" и "Мониторинг уязвимостей".

на сервере установлены и работают все три защиты - "Файловый антивирус", "Сетевой экран" и "Защита от сетевых атак".

Базы сегодняшние от 13:35.

process explorer показывает дикое количество дескрипторов типа Token (в по отношению положения текущей позиции в окне прокрутки списка дескрипторов), в меньшей степени Event, Semaphores, Processes. А сколько открыто ресурсов типа File - так это я так понял, что это каждый файл отчета заранее открыт, мало ли когда кому надо записать.

для статистики (с моей рабочей станции):

C:\>handle.exe -a -p 2504 | unxutils\gawk "{print $2}" | unxutils\sort | unxutils\uniq -c | unxutils\sort -n -r

25092 Token

1560 File

1471 Event

1280 Semaphore

551 Process

207 Thread

167 Key

79 EtwRegistration

53 Mutant

41 IoCompletion

26 ALPC

19 Section

8 TpWorkerFactory

4 Timer

4 Directory

2 WindowStation

1 KeyedEvent

1 Desktop

 

на сервере:

252398 Token

1557 Process

1066 Semaphore

447 Event

165 File

153 Thread

89 Key

44 EtwRegistration

31 IoCompletion

26 Mutant

22 ALPC

18 Section

8 TpWorkerFactory

4 Timer

4 Directory

2 WindowStation

1 KeyedEvent

1 Desktop

 

Есть предположение, что запуск процессов в системе порождает утечку. На сервере много процессов постоянно перезапускается.

 

Я так понимаю, с таким глюком нам жить до MR4 (рассчитываю не более чем на полгода) или предполагается более скорое решение?

 

Здравствуйте,

 

на серверных ОС рекомендуется использовать KSWS.

Для вас это приемлемо ?

Спасибо.

Share this post


Link to post

Ни разу не пробовали. Можно попробовать, но что делать с рабочими станциями? Если ядро одной версии, то где гарантия, что оно тебя так же не будет вести и после установки KSWS?

 

В той же конфигурации стоял KES10 MR1, MR1 SP1, MR1 SP2 - проблем с хендлами не было, других хватало.

Как обновились до KES10 MR1 SP3 - начались эти проблемы проблемы с дескрипторами.

 

Сегодня утром на одной из рабочих станций (W10x64) 35052 дескрипторов (удалось выяснить, подключившись просмотром списка процессов) - машина полудохлая, explorer.exe залипший - время/дата стоят 18:29 03.03 и не двигаются, запустить из диспетчера задач даже cmd.exe не получается. Кнопки не нажимаются, перезагрузиться удалось только отправив shutdown -r с другой машины.

 

ещё на одной машине (W7sp1x64) пытались остановить или перезапустить в пятницу, т.к. помимо 16000+ дексрипторов avp.exe жрет 25% (на 4х ядерной машине - одно ядро целиком). Через диагностику остановить не удалось.

Edited by HalfHuman

Share this post


Link to post

в нашей лицензии Kaspersky Endpoint Security для бизнеса – Расширенный Russian Edition. Kaspersky Security for WS and FS и Kaspersky Security для виртуальных сред, Server Russian Edition.

Kaspersky Security for Windows Server нет лицензии

 

Я так понимаю KES10 при установке на серверы ставит только 3 описанных компонента ("Файловый антивирус", "Сетевой экран" и "Защита от сетевых атак") и в дальнейшем в работе и управлении не отличается от обычного клиента.

Edited by HalfHuman

Share this post


Link to post
в нашей лицензии Kaspersky Endpoint Security для бизнеса – Расширенный Russian Edition. Kaspersky Security for WS and FS и Kaspersky Security для виртуальных сред, Server Russian Edition.

Kaspersky Security for Windows Server нет лицензии

 

Я так понимаю KES10 при установке на серверы ставит только 3 описанных компонента ("Файловый антивирус", "Сетевой экран" и "Защита от сетевых атак") и в дальнейшем в работе и управлении не отличается от обычного клиента.

 

Здравствуйте!

 

Да, в управлении эти программы друг от друга не отличаются, отличие только в активных компонентах, коих в серверной версии меньше.

 

Спасибо!

Share this post


Link to post

смоделировал в виртуалке

скачал сегодня kes10winsp1_mr3_ru_aes256.exe с сайта касперского ( https://support.kaspersky.ru/kes10wks#downloads )

установил в win7sp1x64

активировал антивирус корпоративным ключом

базы не обновлял (предполагая, что возможны и проблемы при обновлении) - дата выпуска баз 13.07.2016 17:37:00

версия антивируса на вкладке "поддержка" 10.2.5.3201 (mr3)

по умолчанию часть модулей не включена (не привязывался к серверу, тестирую на самостоятельной установке) - утечка есть

отключил вообще все модули - значок касперского в трее стал серый - утечка есть

 

статистика после перезагрузки (защита отключена по всем модулям):

загрузка, защита отключена - около 2000 дескрипторов

запуск cmd, набираем однострочник "for /l %A IN (1,1,10000) do @cmd /c echo %A" - после выполнения около 22000 дескрипторов (утечка порядка 2 дескриптора на процесс, т.к. вызывается 10000 раз новый экземпляр cmd.exe, который исполняет команду echo)

ничего не делаем

спустя 17 минут (может и раньше, я только в это время вернулся к тесту) - дескрипторов около 12000 (видимо, высвободилось порядка 10000 дескрипторов по какому-то таймауту, т.е. истинная утечка 1 дескриптор на процесс.

выхожу из cmd - значение особо не меняется

подождал 40 минут после закрытия cmd - ситуация не меняется - используется около 12000 дескрипторов

 

на сервере, на котором найдено 1.27 млн дескрипторов, антивирус проработал к тому моменту 34 часа (хард ресет был утром 1.03, т.к. не было возможности нормально перезагрузиться, утечка обнаружена вечером 2.03) - примерная скорость утечки на реальной машине - 37000 дескрипторов в час. на этом сервере работает MRTG, контролирующий большое количество портов и оборудования. Чтобы не нарушать работу сервера - антивирус отключен совсем (а не просто отключена защита)

 

на всех серверах KES обновился до mr3 и требует перезагрузку, все они уже с утечкой, хотя сам avp.exe ещё старой версии, возможно проблема в каких-то модулях, которые успели обновиться и перезапуститься в рамках ещё работающего системного сервиса avp.exe. на данный момент на одном из контроллеров домена антивирус просит перезагрузку после обновления, версию сообщает 10.2.4.674 (mr2.mr3), дескрипторов около 60000, сам процесс работает 94 дня (запуск 4.12.2016), обновление было 16.02.2017.

 

так как ситуация воспроизводиться на пустой машине без политик и серверных заданий - привязки конкретно к нашей системе и настройкам нет. Приведенные выше опыты может воспроизвести любой желающий.

Share this post


Link to post
в нашей лицензии Kaspersky Endpoint Security для бизнеса – Расширенный Russian Edition. Kaspersky Security for WS and FS и Kaspersky Security для виртуальных сред, Server Russian Edition.

Kaspersky Security for Windows Server нет лицензии

 

Я так понимаю KES10 при установке на серверы ставит только 3 описанных компонента ("Файловый антивирус", "Сетевой экран" и "Защита от сетевых атак") и в дальнейшем в работе и управлении не отличается от обычного клиента.

 

Расширенная лицензия должна поддерживать KSWS10, попробуйте.. весь основной функционал должен быть доступен (антивирус, контроль запуска программ, защита от шифрования на сервере). У нас тоже Расширенная - на KSWS10 все работает.

Мы утечку не мерили, но по крайней мере на XPx32, Win7x32/x64, Win10x64, W2008R2x64 никаких проблем не зафиксировано, все работает (KSWS10, KES10.2.5.3201)

Правда мы не обновлялись с предыдущих версий, а ставили на чистые машины.

Как вариант попробовать снести/почистить все текущие и предыдущие версии Кавремувером и потом поставить новые на уже вычищеные компы.

Edited by Aigir

Share this post


Link to post

10.2.5.3201 ведет себя одинаково, что обновленное с MR2, что свеежустановленное (на виртуалке я с нуля ставил)

установка KSWS на сервере проблему снимает только с серверов.

 

Share this post


Link to post

windows xp sp2 x32 - та же история

вот подопытный:

Запущен: 03.03.2017 2:13:41

Выполняется: 6 07:56:34

Хэндлов: 11368

 

контроллер домена, описанный в сообщении от #6 топика от 7.03.2017 12:06 - windows server 2003 sp2

Share this post


Link to post

Добрый день!

 

Соберите, пожалуйста, трассировки KES вместе с логами procmon в момент воспроизведения проблемы.

Также после воспроизведения пришлите нам журналы событий windows (system, application и kaspersky), и отчёт GSI.

 

Спасибо!

Share this post


Link to post

а не быстрее ли проблему будет изучить, если вы у себя на голый виндовс поставите голый антивирус и будете на живой машине видеть все своими глазами, чем мои отчеты читать?

Share this post


Link to post

К сожалению, данная проблема не воспроизводится в тестовой среде.

К тому же, если бы проблема была массовой, то количество жалоб с подобными симптомами было бы очень большим.

Прошу обратить также ваше внимание на то, что WinXP поддерживается только с SP3.

 

Спасибо!

Share this post


Link to post

очень странно. потому как у меня это вообще везде воспроизводится и в рабочей сати и в виртуалках.

что у вас называется тестовой средой?

только что поставил в virualbox (4.3.18 r96516) windows7sp1x64rus (SW_DVD5_Win_Pro_7w_SP1_64BIT_Russian_-2_MLF_X17-59431.ISO, 3'074'519'040 байт, MD5 c52ff90b564cad4cc2d4ae696ff4dced), поставил 10.2.5.3201 (который качал 07.03, kes10winsp1_mr3_ru_aes256.exe, 295'434'504 байт, MD5 039def3161941949bc87b56b9dca7f8d) в режиме "Далее", "Далее", "Далее", "ОК" - всё то же самое, даже не обновлял, ни windows, ни антивирус (даже сеть ещё не подавал в машину)

предыдущая виртуалка была той же версии, но под Hyper-V.

 

 

Share this post


Link to post

после 2.6 млн событий в process monitor он завис и вылетел

сейчас перегружу и на 1000 событий сделаю, после 2770 примерно стало всё очень медленно и печально

да и вообще всё гораздо медленнее отрабатывает

Share this post


Link to post

https://cloud.mail.ru/public/EPh7/EtoPaUXjs

с конфигом

делал 1000 запусков, т.к. на 10000 ресурсов не хватает

ресурсов

хронология: на перед запуском дескрипторов порядка 1900

запустил строчку for /l %A IN (1,1,1000) do @cmd /c @echo %A

дескрипторов дошло до 3900

после окончания минут за 3-5 дескрипторы упали до 2900

отключил мониторинг

debug level выставил в 600

Share this post


Link to post

Заведена Issue 2111228

Ответ опубликуем в топике как только получим его от разработчиков.

 

Спасибо!

Share this post


Link to post

ок, буду ждать.

При проверке серверов нашел, что на терминальном сервере антивирус не обновлен - стоит MR2 :

Запущен: 08.02.2017 15:11:18

Выполняется: 29 02:12:14

Хэндлов: 4535

Share this post


Link to post
ок, буду ждать.

При проверке серверов нашел, что на терминальном сервере антивирус не обновлен - стоит MR2 :

Запущен: 08.02.2017 15:11:18

Выполняется: 29 02:12:14

Хэндлов: 4535

 

Здравствуйте.

 

Описанная проблема должна решиться после установки патча pf1879.

Чтобы получить патч, создайте, пожалуйста, запрос на него в CompanyAccount с кратким описанием проблемы, номером патча и заведенной ошибки (2111228).

Если проблема сохранится даже после установки патча, пожалуйста, соберите трассировку KES, включающую перезагрузку хоста и воспроизведение проблемы. Также необходим дамп памяти, полученный после полного отказа (зависания) системы.

 

Спасибо.

 

Share this post


Link to post

по первым тестам (в виртуалке) ситуация изменилась - потребление дескрипторов растет в пропорции 1:1 и после нескольких минут бездействия падает до первоначального.

сейчас запустил однострочник до 1 млн "for /l %A IN (1,1,1000000) do @cmd /c echo %A" - раз в минуту наблюдаю падение используемых дескрипторов и график памяти тоже - минуту растет и потом падает. видимо раз в минуту работает сборщик мусора.

Share this post


Link to post
по первым тестам (в виртуалке) ситуация изменилась - потребление дескрипторов растет в пропорции 1:1 и после нескольких минут бездействия падает до первоначального.

сейчас запустил однострочник до 1 млн "for /l %A IN (1,1,1000000) do @cmd /c echo %A" - раз в минуту наблюдаю падение используемых дескрипторов и график памяти тоже - минуту растет и потом падает. видимо раз в минуту работает сборщик мусора.

 

Пожалуйста, уточните, поведение изменилось после установки предложенного патча или же просто при попытке воспроизвести проблему на виртуальной машине?

 

Спасибо.

Share this post


Link to post

В целом применение патча проблему исправляет. Патч применен на части серверов и порядка 80% рабочих станций - после перезагрузки проблем с утечкой не наблюдаем.

Конкретно на моей рабочей станции avp.exe от имени системы использует порядка 12 тысяч дескрипторов сразу после перезагрузки, но в дальнейшем их использование падает, в данный момент 3.5 тысячи при аптайме 4.5 часа.

Можно сказать, что проблему утечки дескрипторов патч решает.

Новых проблем пока не замечено.

мне интересно, почему в таком случае дистрибутив антивируса не обновляют?

Если проблема известная и известно её решение, обновили бы дистрибутив, мы так вообще не догадались бы, что проблема такая была (переходить с MR2 на MR3 стали только в середине февраля 2017, а дистрибутив подписан аж 18 июля 2016 и с этого момента так и лежит).

Edited by HalfHuman

Share this post


Link to post
В целом применение патча проблему исправляет. Патч применен на части серверов и порядка 80% рабочих станций - после перезагрузки проблем с утечкой не наблюдаем.

Конкретно на моей рабочей станции avp.exe от имени системы использует порядка 12 тысяч дескрипторов сразу после перезагрузки, но в дальнейшем их использование падает, в данный момент 3.5 тысячи при аптайме 4.5 часа.

Можно сказать, что проблему утечки дескрипторов патч решает.

Новых проблем пока не замечено.

мне интересно, почему в таком случае дистрибутив антивируса не обновляют?

Если проблема известная и известно её решение, обновили бы дистрибутив, мы так вообще не догадались бы, что проблема такая была (переходить с MR2 на MR3 стали только в середине февраля 2017, а дистрибутив подписан аж 18 июля 2016 и с этого момента так и лежит).

Здравствуйте!

 

Такие проблемы решаются в новых релизах или как в данном случае патчем.

 

Спасибо!

Share this post


Link to post

то есть тысячи людей, устанавливающих продукт с ошибкой, который выложен в качестве релизного, столкнутся с проблемой и будут дергать техподдержку для получения патча или терпеть, пока не выйдет новая версия?

и это нормально?

я как-то привык к тому, что при обнаружении проблемы производитель её исправляет и обновляет дистрибутив.

Share this post


Link to post

Приватные патчи выпускаются как раз по такому случаю, когда проблема наблюдается не у всех.

Если такой патч распростанить принудительно для всех, то неизвестно как будут вести себя машины, у которых всё нормально.

 

Спасибо!

Share this post


Link to post

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


×
×
  • Create New...

Important Information

We use cookies to make your experience of our websites better. By using and further navigating this website you accept this. Detailed information about the use of cookies on this website is available by clicking on more information.