[ASK] Squid Melambat dan dir_cache penuh

Diskusi tentang Ubuntu Server baik webserver, database server, samba server dan service lainnya serta jaringan menggunakan Sistem Operasi Ubuntu.
User avatar
nagas
Posts: 8
Joined: 25 Mar 2013, 14:50

[ASK] Squid Melambat dan dir_cache penuh

Postby nagas » 03 Jun 2013, 10:13

@Pragola_Pati

makasi mas atas penjelasan dan koreksinya...sya baru berhasil test page 38 maklum masi baru...dengan bantuan tamampapua.wordpress.com...
masalahnya setelah 1 bln ini cache full...

=> /cache3 is using 91.2% of 18.62GB
=> /cache4 is using 90.4% of 18.62GB
=> /cache5 is using 91.6% of 18.62GB
=> /cache1 is using 95.2% of 18.62GB
=> /cache2 is using 92.4% of 18.62GB

sya rasa browsing agak melambat
sya baca diawal bisa dihapus manual dengan rm -fdR /cache1 ...tpi sayang tabungan cachenya mas...

sya baca" lgi
di squid.conf tambahin: cache_replacement_policy
yg katanya otomatis menghapus file yg sudah lama tdk digunakan.
dari awal jga sudah ada ini cache_replacement_policy heap LFUDA
tpi cache tetap membengkak..

sya tambahkan ini jga
cache_swap_low 98
cache_swap_high 99

klo bisa bantu kasi petunjuk agar
squid otomatis menghapus file cache yg sudah tidak terpakai ato lama...

thx.
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby q_p » 03 Jun 2013, 15:13

Pada saat squid mulai melambat respon-nya, coba anda cek penggunaan memory dan swap. Jangan sampai merambah ke swap.
dir_cache akan tetap bertambah/membengkak sampai batas yang ditentukan cache_swap low dan cache_swap_high. Setelah volume penggunaan (used) dir_cache mencapai 98-99 persen dari yang sudah anda tentukan, mekanisme 'hapus file lama' berjalan untuk digantikan oleh 'file baru'
cmiiw
User avatar
nagas
Posts: 8
Joined: 25 Mar 2013, 14:50

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby nagas » 04 Jun 2013, 06:47

ok mas makasi sebelumnya...

yg sya tangkap mungkin ini...
cache_swap_low 90
cache_swap_high 95
sya rubah kedefaultnya

baru muncul perubahan yg semula
/dev/sda10 19G 18G 658M 97% /cache3
/dev/sda11 19G 18G 721M 97% /cache4
/dev/sda12 19G 19G 392M 98% /cache5
/dev/sda8 19G 19G 551M 98% /cache1
/dev/sda9 19G 19G 483M 98% /cache2

setelah proses kira" 10 menit sehabis reboot...jadi
/dev/sda10 19G 18G 950M 96% /cache3
/dev/sda11 19G 18G 951M 96% /cache4
/dev/sda12 19G 18G 953M 96% /cache5
/dev/sda8 19G 18G 953M 96% /cache1
/dev/sda9 19G 18G 950M 96% /cache2

http://www.visolve.com/squid/squid27/cachesize.php
brarti untuk selamanya max cache dir nantinya 95% tanpa mempengaruhi
cache_replacement_policy
bgitu mas ya?
User avatar
bang_andi
Posts: 398
Joined: 03 Sep 2010, 09:07
Location: Di sekitar sungai musi...
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby bang_andi » 04 Jun 2013, 10:13

wow..besar jg ukuran dir cachenya ada 5 lgi, sub dir dari 1 cache sj bisa berpuluh-puluh atau ratusan, klo dir cachenya sdh byk alias penuh, bisa kita bayangkan alangkah susahnya si squid ini mencari data yg diminta oleh user di dir-dir cachenya tsb.

tntukan set awal:
1. set 6 dir cache, 3 dipakai 3 lgi cadangan ( jgn dlu dipakai).
2. konfigurasinya, terutama penambahan rule refresh patternnya yg bertahap jgn lngsung numplek blek, liat user habit.

tutorialnya dri bang tamam jgn lngsung ditelen bro, uji coba dulu dg 3 dir cache tpi jgn dipakai sluruh kuotanya msalkn dir cachenya 19GB pkai sekitar 7GB dlu nnti bru ditambah bertahap sesuai situasi dn kondisi
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby q_p » 05 Jun 2013, 16:41

nagas wrote:...
cache_swap_low 90
cache_swap_high 95
...
brarti untuk selamanya max cache dir nantinya 95% tanpa mempengaruhi
cache_replacement_policy
bgitu mas ya?

  • Kurang lebihnya begitu, dir_cache akan terpakai dalam kisaran 90-95.
  • Sebaiknya anda perhatikan juga volume fisik RAM yang tersedia dengan volume total dir_cache.
Sedangkan cache_replacement_policy adalah parameter yang digunakan untuk mengganti obyek lama dengan obyek baru (http://www.squid-cache.org/Doc/config/c ... nt_policy/).

Code: Select all

       lru       : Squid's original list based LRU policy
       heap GDSF : Greedy-Dual Size Frequency
       heap LFUDA: Least Frequently Used with Dynamic Aging
       heap LRU  : LRU policy implemented using a heap
User avatar
nagas
Posts: 8
Joined: 25 Mar 2013, 14:50

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby nagas » 09 Jun 2013, 02:47

@bang_andi
makasih saranya mas saya coba dlu keduanya...
penambahan rule refresh patternnya yg bertahap jgn lngsung numplek blek, liat user habit...caranya apakah hanya menghapus yg tdk diperlukan aja?
sya ga asal telen jga bro...ada beberapa bagian opsi squid sya rubah sesuai saran dari forum ini mas...

@Pragola_Pati
kemungkinan besar sih volum fisik ram sya
ini maksudnya ya?
RAM 2G
memory useage 44%, cache dir yg dihandle 100g
ok sya tambah ram kurangi cache dir...sya coba dlu...
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby q_p » 09 Jun 2013, 15:12

nagas wrote:..
memory useage 44%, cache dir yg dihandle 100g
...

Dari mana anda memperoleh informasi memory useage 44% ?
Bandingkan dengan perintah =

Code: Select all

# top
####atau###
# free -m
User avatar
yudiarbi
Posts: 627
Joined: 22 Mar 2011, 09:31
Location: Probolinggo, Jawa Timur
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby yudiarbi » 10 Jun 2013, 16:38

jgn lupa logrotate di aktifkan
User avatar
bang_andi
Posts: 398
Joined: 03 Sep 2010, 09:07
Location: Di sekitar sungai musi...
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby bang_andi » 10 Jun 2013, 19:35

@nagas

ram 2GB, kinerja squid terasa berat atau melambat.

sbnernya ada bbrapa faktor pnyebabnya, ya salah satunya mungkin ram anda sdh mulai down performansinya atau perlu menambah kapasitas ram jka memang byk service yg dijalankan oleh sistem.

perintah dbawah ini mungkin adalah solusinya, coba dilakukan & diperhatikan hasilnya, jika kinerja squidnya kembali normal kecepatannya saat perintahnya dilakukan, maka masukan saja perintahnya di crontab llu dibuat jadwal eksekusinya, setiap hari & pd jam berapa.

Utk Mengurangi Pengunaan Memori :

# sudo sync && echo 3 | sudo tee /proc/sys/vm/drop_caches
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby q_p » 10 Jun 2013, 21:40

Mirip dengan yang di atas, bisa anda lihat pada postingan ini dan http://ubuntu-indonesia.com/forums/ubbt ... Post135122
Berikut kutipan-nya =
Pragola_Pati wrote:...
Usahakan tambah RAM sampai batas maksimal dayadukung mothernoard, sebagai solusi utama. Untuk sementara, anda bisa terapkan yang berikut ini =
  • Tambahkan ke file sysctl.conf =

    Code: Select all

    vm.drop_caches=3
    Kalau sudah, jalankan sysctl -p
  • Tambahkan ke crontab =

    Code: Select all

    sync && /sbin/sysctl vm.drop_caches=3 && swapoff -a && swapon -a
    Sudah tentu ini hanya solusi sementara sebelum up-grade memory.
...
User avatar
nagas
Posts: 8
Joined: 25 Mar 2013, 14:50

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby nagas » 11 Jun 2013, 23:11

@Pragola_Pati
mem useage 44% sya dpt dari layar utama sehabis log in putty mas
sya rasa blm ada pengaruh untuk perubahan cache swap

untuk crontab sya blm sempat coba mas waktu itu
Tambahkan ke crontab =
Code:
@hourly sync && sysctl -w vm.drop_caches=3 && sysctl -w vm.drop_caches=0

akhirnya sya ikutin saran

@bang_andy
dri bang tamam opsi squid yg sya rubah
zph mode, quick_abort_min -1 KB, ipcache_size 16048, cache swap, storeurl_rewrite_children, beberapa acl utk refresh pattern sya blm ngerti
berharap ada tambahan dari bang_andy hehhhe...
berhubung hardisk system bunyi kletek" sya jga baru tahu pagi" buta waktu itu
saat ini sya pakai hdd 250 G 2 buah ram 2G

cache_dir aufs /cache1 15000 32 256
setelah 2 hari penuh

=> /cache1 is using 98.1% of 13.97GB
respon squid tetep lancar hingga saat ini...

Code: Select all

root@sinaga:~# free -m
             total       used       free     shared    buffers     cached
Mem:          1982       1853        129          0         84       1552
-/+ buffers/cache:        215       1766
Swap:         3813          0       3813

top - 22:34:58 up 3 days, 14:41,  1 user,  load average: 0.12, 0.09, 0.06
Tasks:  90 total,   1 running,  89 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.5%us,  0.0%sy,  0.0%ni, 99.0%id,  0.5%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   2030120k total,  1908648k used,   121472k free,    86320k buffers
Swap:  3905532k total,        0k used,  3905532k free,  1601984k cached
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 1003 proxy     20   0 99.6m  88m 1516 S    1  4.5  55:16.13 squid
 7194 root      20   0  2824 1112  880 R    1  0.1   0:00.05 top
    1 root      20   0  3524 1516  928 S    0  0.1   0:00.38 init
    2 root      20   0     0    0    0 S    0  0.0   0:00.06 kthreadd
    3 root      20   0     0    0    0 S    0  0.0   0:03.79 ksoftirqd/0
    6 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/0
    7 root      RT   0     0    0    0 S    0  0.0   0:00.73 watchdog/0
    8 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/1
   10 root      20   0     0    0    0 S    0  0.0   0:56.39 ksoftirqd/1
   11 root      RT   0     0    0    0 S    0  0.0   0:00.62 watchdog/1
   12 root       0 -20     0    0    0 S    0  0.0   0:00.00 cpuset
   13 root       0 -20     0    0    0 S    0  0.0   0:00.00 khelper
   14 root      20   0     0    0    0 S    0  0.0   0:00.00 kdevtmpfs
   15 root       0 -20     0    0    0 S    0  0.0   0:00.00 netns
   17 root      20   0     0    0    0 S    0  0.0   0:00.42 sync_supers
   18 root      20   0     0    0    0 S    0  0.0   0:00.01 bdi-default
   19 root       0 -20     0    0    0 S    0  0.0   0:00.00 kintegrityd
   20 root       0 -20     0    0    0 S    0  0.0   0:00.00 kblockd
   21 root       0 -20     0    0    0 S    0  0.0   0:00.00 ata_sff
   22 root      20   0     0    0    0 S    0  0.0   0:00.00 khubd
   23 root       0 -20     0    0    0 S    0  0.0   0:00.00 md
   26 root      20   0     0    0    0 S    0  0.0   0:00.06 khungtaskd
   27 root      20   0     0    0    0 S    0  0.0   0:13.02 kswapd0
   28 root      25   5     0    0    0 S    0  0.0   0:00.00 ksmd
   29 root      39  19     0    0    0 S    0  0.0   0:00.00 khugepaged
   30 root      20   0     0    0    0 S    0  0.0   0:00.00 fsnotify_mark
   31 root      20   0     0    0    0 S    0  0.0   0:00.00 ecryptfs-kthrea
   32 root       0 -20     0    0    0 S    0  0.0   0:00.00 crypto
   41 root       0 -20     0    0    0 S    0  0.0   0:00.00 kthrotld
   43 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_0
   44 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_1
   45 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_2


sperti wndws task manager ya mas?

@yudiarbi
sudah ada mas logfile_rotate 1
makasi mas atas sarannya
dri bang tamam logfile_rotate 5 sedang mas Pragola_Pati 1 bedanya dimana kira" mas?
apa yg harus sya rubah nantinya
maklum masih baru mohon bimbingannya
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby q_p » 12 Jun 2013, 00:43

@TS
Solved mas ?
User avatar
nagas
Posts: 8
Joined: 25 Mar 2013, 14:50

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby nagas » 14 Jun 2013, 02:10

iya mas masalah selesai menurut saya....

makasi buat yg udah bantu.

Return to “Ubuntu Server”

Who is online

Users browsing this forum: No registered users and 8 guests