Проблема после пропадания питания

[Александр (AleksHr)]

Приветствую, вчера отключили свет на несколько часов, UPS долго не продержались, и серверы не выключилися а просто вырубались  .
Все загрузилося нормально и вроде работает (корневой раздел у меня на серверах всегда смонтирован только в режыме чтения на всякий случай).

Но! При проверке fsck выдает (в режыме без записи только проверка):

Код:

fsck /var
** /dev/ad0s1d (NO WRITE)
** Last Mounted on /var
** Phase 1 - Check Blocks and Sizes
INCORRECT BLOCK COUNT I=23559 (4 should be 0)
CORRECT? no

INCORRECT BLOCK COUNT I=1248273 (12 should be 8)
CORRECT? no

** Phase 2 - Check Pathnames
** Phase 3 - Check Connectivity
** Phase 4 - Check Reference Counts
UNREF FILE I=1648821  OWNER=mysql MODE=100600
SIZE=0 MTIME=Jan 22 09:12 2010
CLEAR? no

UNREF FILE I=1648824  OWNER=mysql MODE=100600
SIZE=0 MTIME=Jan 22 09:12 2010
CLEAR? no

UNREF FILE I=1648825  OWNER=mysql MODE=100600
SIZE=0 MTIME=Jan 22 09:12 2010
CLEAR? no

UNREF FILE I=1648832  OWNER=mysql MODE=100600
SIZE=0 MTIME=Jan 22 09:12 2010
CLEAR? no

UNREF FILE I=1648837  OWNER=mysql MODE=100600
SIZE=0 MTIME=Jan 22 09:12 2010
CLEAR? no

UNREF FILE  I=1648919  OWNER=www MODE=100600
SIZE=137 MTIME=Jan 22 09:14 2010
RECONNECT? no


CLEAR? no

** Phase 5 - Check Cyl groups
FREE BLK COUNT(S) WRONG IN SUPERBLK
SALVAGE? no

SUMMARY INFORMATION BAD
SALVAGE? no

BLK(S) MISSING IN BIT MAPS
SALVAGE? no

23329 files, 449381 used, 7672784 free (6912 frags, 958234 blocks, 0.1% fragmentation)
[

Делаю umount -f /var:

Код:

fsck /var
** /dev/ad0s1d
** Last Mounted on /var
** Phase 1 - Check Blocks and Sizes
** Phase 2 - Check Pathnames
** Phase 3 - Check Connectivity
** Phase 4 - Check Reference Counts
** Phase 5 - Check Cyl groups
23324 files, 449385 used, 7672782 free (6910 frags, 958234 blocks, 0.1% fragmentation)

Ошибок нет  . Монтирую назад файловою систему mount -rw /var - ошыбок также нет. Перегружаю машыну - проверяю - те же самые ошыбки  .

Сервер удаленный, локально проверить нет возможности.
/etc/rc.conf:

Код:

fsck_y_enable="YES"
background_fsck="NO"

Итог: ошыбки остались, так как после розмонтирования и последующего монтирования файловой системы их нет. Делаю вывод что в однопользовательском режыме также fsck не увидит ошыбок. Вопрос почему? И что делать?

P.S. В интернете люди пишут что у многих такая ошыбка уже много лет на серверах, и после неудчаного заврешения работы ошыбки только прибавляются (((, но все работает. Поможете?

[elite]

Используй gjournal!

[Александр (AleksHr)]

Используй gjournal!

Спасибо конечно за предложение, но как исправить ошыбки сейчас?

[Efendy]

Сделай бекап БД и конфигов, переставь систему и накати - ведь по времени это несколько часов работы

[Александр (AleksHr)]

Сделай бекап БД и конфигов, переставь систему и накати - ведь по времени это несколько часов работы

Сервер удаленный, локально проверить нет возможности.

К серверу попасть нет возможности!! Вообще в ближайшую неделю...

А может кто нить проверить, если у себя на робочей машыне запустить fsck (естественно будет рид онли), будет ли находить какие нибуть ошыбки?
Потому что судя по инфе в интернете, если есть ошыбка на диске фря будет работать только в режыме single mode. Тупо запустите есть ли ошыбки...

[blackjack]

Мужики не поверите, вчера таже херня случилась, помогла только пересборка world.
Не запускался ни апач ни мускул ни ссш.
Из всего запустился только isc-dhcpd и snmpd.

У топикстатера система случайно не 8.0 ?

Кстати незнаю как вы удаленно зашли на этот сервер, ссш при этих симптомах у меня не стартовал.

[blackjack]

И еще, все сетевые приложения которые не запускались кричали - "No buffer space available"

[Александр (AleksHr)]

Не, у меня 7.2. Видимо мне помогло то, что корневой раздел всегда смонтирован только на чтение ))).
blackjack, а у тебя например при смонтированных разделах и запуске fsck выдает ошыбки?

[blackjack]

были ошибки, потом fsck исправил их но ситуация не изменилась.

[Cell]

Эх, все это очень грустно, на одном из серверов, который я по договору поддерживаю все так и случилось ( пока что делать не придумал.
А на своем сервере вот такая картина наблюдается:

Код:

Jan 21 11:20:45 inet-server kernel: rl1: link state changed to DOWN
Jan 21 11:20:46 inet-server upsmon[1116]: UPS Mustek@localhost on battery
Jan 21 11:33:56 inet-server upsmon[1116]: UPS Mustek@localhost battery is low
Jan 21 11:33:56 inet-server upsmon[1116]: Executing automatic power-fail shutdown
Jan 21 11:33:56 inet-server upsmon[1116]: Auto logout and shutdown proceeding
Jan 21 11:34:02 inet-server shutdown: halt by root:
Jan 21 11:34:08 inet-server upsd[1098]: mainloop: Interrupted system call
Jan 21 11:34:11 inet-server named[826]: stopping command channel on 127.0.0.1#953
Jan 21 11:34:11 inet-server named[826]: stopping command channel on ::1#953
Jan 21 11:34:11 inet-server named[826]: exiting
Jan 21 11:34:12 inet-server syslogd: exiting on signal 15
Jan 21 11:38:53 inet-server syslogd: kernel boot file is /boot/kernel/kernel
Jan 21 11:38:53 inet-server kernel: Copyright (c) 1992-2009 The FreeBSD Project.

Используйте на полную возможности своих упсов!

[blackjack]

ну вот есть несколько человек, как бы это выяснить в чем косяк?
и как бы воспроизвести такую ситуацию чтобы подебажить?

[Александр (AleksHr)]

cell, blackjack вам трудно на робочей машыне з фряхой тупо запустить fsck? И написать сюда вывод? Интересно будут ли косяки или нет. Если несложно плиз. Он и так работать будеть в режыме без записи, так что боятся нечего.

[blackjack]

пилять, это вобще, вот только что запустил и появились ошибки, вчерай клянусь небыло и сервер не ребутился. че за херня

вот фсцк

Код:

[root@db /home/admin]# fsck
** /dev/ad4s1a (NO WRITE)
** Last Mounted on /
** Root file system
** Phase 1 - Check Blocks and Sizes
** Phase 2 - Check Pathnames
** Phase 3 - Check Connectivity
** Phase 4 - Check Reference Counts
** Phase 5 - Check Cyl groups
3052 files, 105894 used, 2432625 free (1153 frags, 303934 blocks, 0.0% fragmentation)
** /dev/ad4s1f (NO WRITE)
** Last Mounted on /home
** Phase 1 - Check Blocks and Sizes
** Phase 2 - Check Pathnames
** Phase 3 - Check Connectivity
** Phase 4 - Check Reference Counts
** Phase 5 - Check Cyl groups
12096 files, 1463002 used, 31989579 free (6211 frags, 3997921 blocks, 0.0% fragmentation)
** /dev/ad4s1e (NO WRITE)
** Last Mounted on /usr
** Phase 1 - Check Blocks and Sizes
** Phase 2 - Check Pathnames
** Phase 3 - Check Connectivity
** Phase 4 - Check Reference Counts
** Phase 5 - Check Cyl groups
ALLOCATED FRAGS 23055376-23055391 MARKED FREE
ALLOCATED FRAG 23055439 MARKED FREE
ALLOCATED FRAGS 23055712-23055719 MARKED FREE
ALLOCATED FRAGS 23058696-23058703 MARKED FREE
BLK(S) MISSING IN BIT MAPS
SALVAGE? no

SUMMARY INFORMATION BAD
SALVAGE? no

320452 files, 2138737 used, 28326900 free (60316 frags, 3533323 blocks, 0.2% fragmentation)
** /dev/ad4s1d (NO WRITE)
** Last Mounted on /var
** Phase 1 - Check Blocks and Sizes
INCORRECT BLOCK COUNT I=7301534 (270240 should be 270144)
CORRECT? no

INCORRECT BLOCK COUNT I=8172880 (363232 should be 363104)
CORRECT? no

** Phase 2 - Check Pathnames
** Phase 3 - Check Connectivity
** Phase 4 - Check Reference Counts
UNREF FILE I=4922374  OWNER=root MODE=100644
SIZE=0 MTIME=Jan 21 19:15 2010 
CLEAR? no

UNREF FILE I=6806551  OWNER=mysql MODE=100600
SIZE=0 MTIME=Jan 22 18:48 2010 
CLEAR? no

UNREF FILE I=6806552  OWNER=mysql MODE=100600
SIZE=0 MTIME=Jan 22 18:48 2010 
CLEAR? no

UNREF FILE I=6806553  OWNER=mysql MODE=100600
SIZE=0 MTIME=Jan 22 18:48 2010 
CLEAR? no

UNREF FILE I=6806554  OWNER=mysql MODE=100600
SIZE=0 MTIME=Jan 22 18:48 2010 
CLEAR? no

UNREF FILE I=6806556  OWNER=mysql MODE=100600
SIZE=0 MTIME=Jan 22 18:48 2010 
CLEAR? no

UNREF FILE  I=11121755  OWNER=smmsp MODE=100660
SIZE=723 MTIME=Jan 22 20:39 2010 
RECONNECT? no


CLEAR? no

LINK COUNT FILE I=11121756  OWNER=smmsp MODE=100660
SIZE=822 MTIME=Jan 22 20:39 2010  COUNT 2 SHOULD BE 1
ADJUST? no

** Phase 5 - Check Cyl groups
FREE BLK COUNT(S) WRONG IN SUPERBLK
SALVAGE? no

SUMMARY INFORMATION BAD
SALVAGE? no

BLK(S) MISSING IN BIT MAPS
SALVAGE? no

501508 files, 4505259 used, 46271763 free (641179 frags, 5703823 blocks, 1.3% fragmentation)
** /dev/ad6s1d (NO WRITE)
** Last Mounted on /backup
** Phase 1 - Check Blocks and Sizes
** Phase 2 - Check Pathnames
** Phase 3 - Check Connectivity
** Phase 4 - Check Reference Counts
** Phase 5 - Check Cyl groups
25944 files, 28846278 used, 89409591 free (2015 frags, 11175947 blocks, 0.0% fragmentation)

[blackjack]

придется теперь ребутится
благо, настроена репликация базы

кстати, у кого-то работает биллинг с резервным сервером и при дауне основного нормально переключается на резервный? потому что у меня ядро сразу вылетает, а в админке пишет что нет соединения с базой.

[Александр (AleksHr)]

blackjack, а я говорил!!! 

Так должно быть. На смонтированых файловых сестемах fsck всегда походу находит мусор (если во время проверки хоть какая нить запись на диск осуществляется). Розслабся ), если бы была ошибка - роздел бы не примонтировался.