Katastrofalne performanse prilikom disk operacija

[kUdtiHaEX]

Imam jedan server u kojem se nalazi Athlon 4000+, 1 GB memorije i SATA disk od 500 GB. Na serveru je instaliran CentOS 4.

Prilikom bilo kakve zahtevnije disk operacije poput extractovanja tarball fajla od 400 megabajta ili kopiranja fajla od 160 megabajta, load servera skoci i do 25.

U cemu moze da bude problem?

P.S. Sav HW je ispravan, sistem radi inace normalno. Disk je popunjen 26%. U attachu je izlaz vmstat 1 komande dok sistem exctractuje tarball od 200 megabajta pri cemu je CPU load 27!

 

[Stator]

Koji je file system ?

 

[kUdtiHaEX]

EXT3, disk je inace Barracuda 7200.10 SATA ST3500630AS

P.S. Ovo je izlaz hdparm -iI /dev/sda komande koji pokazuje da moj disk radi u UDMA6 modu.
Primetio sam da mi je AAM vrednost na 0 sto je jako cudno. To moze biti razlog pada performansi ovog diska (21 MB/s za read sto je uzas). Medjutim kada pokusam:

/sbin/hdparm -M 254 /dev/sda

dobijem

[root@couperin weekly]# /sbin/hdparm -M 254 /dev/sda

/dev/sda:
 setting acoustic management to 254
 HDIO_DRIVE_CMD:ACOUSTIC failed: Input/output error
 HDIO_GET_ACOUSTIC failed: Inappropriate ioctl for device

 

[zalutao]

Provjerio sam na nekoliko servera i isto stoji da je AM parametar 0, tako da sumnjam da je to problem. Prije bih ciljao na neki problem sa kontrolerom. Znam da ovo sto cu ti predloziti je mnogo posla a opet ne mora znaciti da ce pomoci ali bih probao prvo da rekompajliram kernel.

Edit:
Provjeri i hdparm -tT da vidis kako izgleda output kad je u pitanju citanje iz kesha, mozes pokusati i /usr/sbin/sar da vidis I/O vremena, kopiraj izlaz sar-a ovde.

 

[kUdtiHaEX]

Radio sam i to.

[root@couperin kutija]# /sbin/hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   1952 MB in  2.00 seconds = 975.66 MB/sec
 Timing buffered disk reads:  142 MB in  3.43 seconds =  41.44 MB/sec

Doduse u vreme pisanja ovog posta (a i pre toga) vrednosti za cached reads nisu prelazile 15 MB/s dok buffered disk read nije prelazio 20.

Rekompajliranje kernela nije opcija (tacnije jeste ali na mestu broj 1000).

 

[zalutao]

Pa nemam pojma jedino logicno bi mi bilo da su problemi sa I/O cekanjima, predpostavljam da si probao iostat, vmstat i da nema nista cudno... A recimo tokom kopiranja ili raspakivanja veceg fajla pogledaj u "top" koliko ti skace wait (wa) load?

 

[kUdtiHaEX]

Da probao sam sve to i nema nista cudno. CPU definitivno nije usko grlo niti sistem swap-uje. Zasto se to dogadja.. mogu samo da nagadjam. Jako je nezgodno sto nemam fizicki pristup masini vec samo konzolni :|

 

[Stator]

Radio sam i to.

[root@couperin kutija]# /sbin/hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   1952 MB in  2.00 seconds = 975.66 MB/sec
 Timing buffered disk reads:  142 MB in  3.43 seconds =  41.44 MB/sec

Doduse u vreme pisanja ovog posta (a i pre toga) vrednosti za cached reads nisu prelazile 15 MB/s dok buffered disk read nije prelazio 20.

Rekompajliranje kernela nije opcija (tacnije jeste ali na mestu broj 1000).

Pazi nisu to tako uzasni rezultati evo rezultata sa istim file systemom 2 raptora(10k RPM) u radi-u mirror

server ~ # hdparm -tT /dev/md3

/dev/md3:
 Timing cached reads:   6510 MB in  2.00 seconds = 3258.72 MB/sec
 Timing buffered disk reads:  222 MB in  3.00 seconds =  74.00 MB/sec

El si detaljno gledao procese da nemas nesto pokrenuto sto ne bi smelo da bude tu ?

 

[zeleni_zub]

Uradi sysctl -a pa okači ovde rezultat. Možda je neko menjao neke kernel parametre?

A možda je i disk neispravan?

 

[kUdtiHaEX]

Disk je sigurno ispravan.

Evo i izlaz sysctl -a komande.

 

[zalutao]

Ne vidim nista neobicno tu.

@stator
Pa jesu brzine dosta lose, evo nasao sam kod mene jedan stariji 7200.10 disk i daje dosta bolje rezultate:

/dev/sda:
Timing cached reads: 1636 MB in 2.00 seconds = 817.31 MB/sec
Timing buffered disk reads: 220 MB in 3.01 seconds = 73.08 MB/sec

Model Number: ST3160815AS

Nemam ideje sta bi jos mogao da probas, predpostavljam da je problem sa kontrolerom. U tvom slucaju bih (predpostavljam da vec jesi) kontaktirao data centar gdje ti je serv, ako se ne varam server ti je kod layeredtech imao sam dosta dobra iskustva sa njihovom podrskom.

 

[kUdtiHaEX]

Ja sam imao jedno uzasno iskustvo ali cu ih kontaktirati svakako.

Hvala svima