Биллинговая система Nodeny

Главная категория => Nodeny Plus => Тема начата: Nafanya от 31 Августа 2020, 20:45:29


Название: BackUp тупит система
Отправлено: Nafanya от 31 Августа 2020, 20:45:29
При работе скрипта система практически зависает. Нельзя перейти на другую страницу. Инет начинает тупить. Кто работает по РРРоЕ сессии отваливаются. Если делать снимки базы каждые 8 часов, то у людей происходит перерегистрация.
Что может быть? Подскажите.
команда:
Цитировать
/bin/sh /root/backup_nodeny.sh
Скрипт:
Цитировать
#!/bin/sh
PATH=/etc:/bin:/sbin:/usr/bin:/usr/sbin
passwd='hardpass'
mysql_cmd='/usr/local/bin/mysql'
mysqldump_cmd='/usr/local/bin/mysqldump'

file=`date "+%H-%M-%d-%h-%Y"`
cd /var/backups/nodeny/
echo show tables | $mysql_cmd -u root --password=$passwd nodeny | \
    grep -v '^[ZX]2' | grep -v 'traflost' | grep -v '^Tables' | \
    xargs $mysqldump_cmd -R -Q --add-locks -u root --password=$passwd nodeny $1 > nodeny_${file}.sql
tar -c -z -f ${file}.tar.gz nodeny_${file}.sql
rm -f nodeny_${file}.sql
chmod 400 ${file}.tar.gz

find . -name "*.tar.gz" -mtime +5 -type f -delete

ntfs-3g /dev/da0p2 /backup

cd /backup/

cp /var/backups/nodeny/${file}.tar.gz /backup/
find . -name "*.tar.gz" -mtime +5 -type f -delete

система
Цитировать
FreeBSD 11.3-STABLE на amd64

Название: Re: BackUp тупит система
Отправлено: elite от 31 Августа 2020, 23:24:13
делать репликацию, а с нее бэкап

Название: Re: BackUp тупит система
Отправлено: Cell от 01 Сентября 2020, 07:06:02
Нужно посмотреть что там в базе имеет такой размер что надолго лочит таблицу.
Чуйка мне подсказывает что это auth_log.  Эта таблица иногда достигает гигантских размеров измеряемых в гигабайтах.
Если это так - то нужно ее просто удалить
Код:
drop table auth_log;
и создать заново взяв структуру из bill.sql
Код:
CREATE TABLE `auth_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `uid` int(10) unsigned NOT NULL DEFAULT '0',
  `ip` int(10) unsigned NOT NULL DEFAULT '0',
  `start` int(10) unsigned NOT NULL DEFAULT '0',
  `end` int(10) unsigned NOT NULL DEFAULT '0',
  `properties` text NOT NULL,
  PRIMARY KEY (`id`),
  KEY `uid` (`uid`),
  KEY `start` (`start`),
  KEY `last` (`end`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
После этого проверирть как работает бэкап.
еще большой размер может иметь таблица pays но с ней такой фокус провернуть нельзя т.к. данные в этой таблице важны.

Название: Re: BackUp тупит система
Отправлено: Redmen от 01 Сентября 2020, 11:47:16
Цитата: Cell от 01 Сентября 2020, 07:06:02
Нужно посмотреть что там в базе имеет такой размер что надолго лочит таблицу.
Чуйка мне подсказывает что это auth_log.  Эта таблица иногда достигает гигантских размеров измеряемых в гигабайтах.
Если это так - то нужно ее просто удалить

Мы просто ее чистим, удаляя все старше 3 лет, + есть идея очистки от коротких авторизаций, пока не реализовал(

Название: Re: BackUp тупит система
Отправлено: cojiict от 01 Сентября 2020, 13:28:38
Цитата: Cell от 01 Сентября 2020, 07:06:02
Нужно посмотреть что там в базе имеет такой размер что надолго лочит таблицу.
Чуйка мне подсказывает что это auth_log.  Эта таблица иногда достигает гигантских размеров измеряемых в гигабайтах.
Если это так - то нужно ее просто удалить
Код:
drop table auth_log;
и создать заново взяв структуру из bill.sql
Код:
CREATE TABLE `auth_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `uid` int(10) unsigned NOT NULL DEFAULT '0',
  `ip` int(10) unsigned NOT NULL DEFAULT '0',
  `start` int(10) unsigned NOT NULL DEFAULT '0',
  `end` int(10) unsigned NOT NULL DEFAULT '0',
  `properties` text NOT NULL,
  PRIMARY KEY (`id`),
  KEY `uid` (`uid`),
  KEY `start` (`start`),
  KEY `last` (`end`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
После этого проверирть как работает бэкап.
еще большой размер может иметь таблица pays но с ней такой фокус провернуть нельзя т.к. данные в этой таблице важны.
Код:
 nodeny             | changes                                              |      31.58 |
| nodeny             | ip_pool                                              |      33.56 |
| nodeny             | pays                                                 |     165.17 |
| nodeny             | auth_log                                             |     635.97 |
| nodeny             | snmptraps                                            |   43557.00 |
+--------------------+------------------------------------------------------+------------+
А як на рахунок snmptraps. Нічого не знайшов в документації до Nodeny.
Користуємось модулем snmp для отримання інформації по портах обладнання, їх включенні і виключені, а от до чого тут trap і чи можна його дропнути без наслідків?

Название: Re: BackUp тупит система
Отправлено: Cell от 01 Сентября 2020, 13:52:29
думаю можно, но сделав предварительно бекап! )

Название: Re: BackUp тупит система
Отправлено: Nafanya от 01 Сентября 2020, 22:20:07
Цитата: Cell от 01 Сентября 2020, 07:06:02
Нужно посмотреть что там в базе имеет такой размер что надолго лочит таблицу.
Чуйка мне подсказывает что это auth_log.  Эта таблица иногда достигает гигантских размеров измеряемых в гигабайтах.
Если это так - то нужно ее просто удалить
Код:
drop table auth_log;
и создать заново взяв структуру из bill.sql
Код:
CREATE TABLE `auth_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `uid` int(10) unsigned NOT NULL DEFAULT '0',
  `ip` int(10) unsigned NOT NULL DEFAULT '0',
  `start` int(10) unsigned NOT NULL DEFAULT '0',
  `end` int(10) unsigned NOT NULL DEFAULT '0',
  `properties` text NOT NULL,
  PRIMARY KEY (`id`),
  KEY `uid` (`uid`),
  KEY `start` (`start`),
  KEY `last` (`end`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
После этого проверирть как работает бэкап.
еще большой размер может иметь таблица pays но с ней такой фокус провернуть нельзя т.к. данные в этой таблице важны.

Цитировать
| auth_log |       484.72 |
MB
Это много?
Цитировать
in MB |
+-------+--------------+
| pays  |        79.13 |
+-------+--------------+

Название: Re: BackUp тупит система
Отправлено: Cell от 02 Сентября 2020, 09:01:48
Нет, это не много. Ну auth_log в любом случае хрень, которую удалить приятно ) а вот это
Код:
nodeny             | snmptraps                                            |   43557.00 |
43 гигабайта?   -- за  гранью добра и зла
ты просто попробуй 43 гигабайта скопировать с диска на диск не говоря про архивирование и все поймешь. Хороший выход исключить эту таблицу из бэкапа вовсе добавив в скрипт что-то типа:
Код:
| grep -v 'snmptraps' |

Название: Re: BackUp тупит система
Отправлено: Nafanya от 02 Сентября 2020, 16:44:20
Цитировать
Table     | Size in MB |
+-----------+------------+
| snmptraps |       0.08 |
А вот вся база ?
Цитировать
| nodeny             |     6081.2 |
Конкретно посмотреть список не могу - слишком длинный.

Название: Re: BackUp тупит система
Отправлено: Cell от 02 Сентября 2020, 22:02:33
Вся база не важна, там куча таблиц не бэкапится из-за ненадобности. Пробуй так как есть)
Думаю результат превысит все ожидания.

Название: Re: BackUp тупит система
Отправлено: Nafanya от 29 Октября 2020, 11:44:20
Цитировать
Table   Size in MB
admin   0.03
auth_log   0.31
auth_now   0.13
c_switch   0.00
cards   5.55
changes   2.72
config   1.43
data0   1.72
data1   0.11
datasetup   0.01
datasetup1   0.03
dictionary   0.01
documents   0.09
dopdata   
dopfields   0.00
dopvalues   0.48
fullusers   
ip_mac   0.03
ip_pool   0.70
links   0.02
mac_uid   0.13
monitor   0.00
nets   0.00
notifications   0.06
notifications_users   0.06
pays   79.13
paysystems_tokens   0.03
places   0.02
places_events   0.09
pon_bind   0.03
pon_fdb   0.02
pon_mon   0.05
pon_olt   0.05
pon_onu   0.03
pon_ports   0.03
ports   0.17
services   0.02
services_log   2.45
ses_traf   0.00
snmptraps   0.08
temp_ip_pool   0.02
traflost   0.00
user_grp   0.00
users   0.31
users_limit   0.02
users_services   0.41
users_trf   0.34
v_auth_now   
v_ips   
v_services   
webses_data   0.06
websessions   0.01
x2020_10_1   23.05

Размер всей базы
Цитировать
DB Name   DB Size in MB
nodeny   6988.3
Ну х-вые.  Они не архивируются. Не пойму - тормозит. Может сам мускул?
Вопрос, процедуры пересоздавать, при переезде на другой сервер? Это как бы заодно спросил.

Название: Re: BackUp тупит система
Отправлено: Cell от 29 Октября 2020, 12:00:12
Процедуры попадают в бэкап, не надо пересоздавать

Название: Re: BackUp тупит система
Отправлено: Efendy от 29 Октября 2020, 16:56:37
Чтобы снмп трапы не писались, не запускайте модуль ядра snmp_trap

Название: Re: BackUp тупит система
Отправлено: Nafanya от 29 Октября 2020, 18:22:11
Цитата: Efendy от 29 Октября 2020, 16:56:37
Чтобы снмп трапы не писались, не запускайте модуль ядра snmp_trap
Да он как-бы и не запускается.

Название: Re: BackUp тупит система
Отправлено: Nafanya от 29 Декабря 2020, 11:32:57
Появилось время и немного разобрался. У меня в архив уходят файлы Х и Z Раньше такого не было. Они там нужны? Какую роль они играют. Один - связан с трафиком, а второй?

Название: Re: BackUp тупит система
Отправлено: Gosha от 30 Декабря 2020, 13:33:42
Цитата: Nafanya от 29 Декабря 2020, 11:32:57
Появилось время и немного разобрался. У меня в архив уходят файлы Х и Z Раньше такого не было. Они там нужны? Какую роль они играют. Один - связан с трафиком, а второй?
Z - если не ошибаюсь, за детализацию трафика, и если детализация не включена, они нулевые. Для бекапа в принципе не нужны.


Powered by SMF 1.1.20 | SMF © 2006-2009, Simple Machines