[ASK] Squid Melambat dan dir_cache penuh

Diskusi tentang Ubuntu Server baik webserver, database server, samba server dan service lainnya serta jaringan menggunakan Sistem Operasi Ubuntu.
User avatar
nagas
Posts: 8
Joined: 25 Mar 2013, 14:50

[ASK] Squid Melambat dan dir_cache penuh

Postby nagas » 03 Jun 2013, 10:13

@Pragola_Pati

makasi mas atas penjelasan dan koreksinya...sya baru berhasil test page 38 maklum masi baru...dengan bantuan tamampapua.wordpress.com...
masalahnya setelah 1 bln ini cache full...

=> /cache3 is using 91.2% of 18.62GB
=> /cache4 is using 90.4% of 18.62GB
=> /cache5 is using 91.6% of 18.62GB
=> /cache1 is using 95.2% of 18.62GB
=> /cache2 is using 92.4% of 18.62GB

sya rasa browsing agak melambat
sya baca diawal bisa dihapus manual dengan rm -fdR /cache1 ...tpi sayang tabungan cachenya mas...

sya baca" lgi
di squid.conf tambahin: cache_replacement_policy
yg katanya otomatis menghapus file yg sudah lama tdk digunakan.
dari awal jga sudah ada ini cache_replacement_policy heap LFUDA
tpi cache tetap membengkak..

sya tambahkan ini jga
cache_swap_low 98
cache_swap_high 99

klo bisa bantu kasi petunjuk agar
squid otomatis menghapus file cache yg sudah tidak terpakai ato lama...

thx.
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby q_p » 03 Jun 2013, 15:13

Pada saat squid mulai melambat respon-nya, coba anda cek penggunaan memory dan swap. Jangan sampai merambah ke swap.
dir_cache akan tetap bertambah/membengkak sampai batas yang ditentukan cache_swap low dan cache_swap_high. Setelah volume penggunaan (used) dir_cache mencapai 98-99 persen dari yang sudah anda tentukan, mekanisme 'hapus file lama' berjalan untuk digantikan oleh 'file baru'
cmiiw
User avatar
nagas
Posts: 8
Joined: 25 Mar 2013, 14:50

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby nagas » 04 Jun 2013, 06:47

ok mas makasi sebelumnya...

yg sya tangkap mungkin ini...
cache_swap_low 90
cache_swap_high 95
sya rubah kedefaultnya

baru muncul perubahan yg semula
/dev/sda10 19G 18G 658M 97% /cache3
/dev/sda11 19G 18G 721M 97% /cache4
/dev/sda12 19G 19G 392M 98% /cache5
/dev/sda8 19G 19G 551M 98% /cache1
/dev/sda9 19G 19G 483M 98% /cache2

setelah proses kira" 10 menit sehabis reboot...jadi
/dev/sda10 19G 18G 950M 96% /cache3
/dev/sda11 19G 18G 951M 96% /cache4
/dev/sda12 19G 18G 953M 96% /cache5
/dev/sda8 19G 18G 953M 96% /cache1
/dev/sda9 19G 18G 950M 96% /cache2

http://www.visolve.com/squid/squid27/cachesize.php
brarti untuk selamanya max cache dir nantinya 95% tanpa mempengaruhi
cache_replacement_policy
bgitu mas ya?
User avatar
bang_andi
Posts: 398
Joined: 03 Sep 2010, 09:07
Location: Di sekitar sungai musi...
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby bang_andi » 04 Jun 2013, 10:13

wow..besar jg ukuran dir cachenya ada 5 lgi, sub dir dari 1 cache sj bisa berpuluh-puluh atau ratusan, klo dir cachenya sdh byk alias penuh, bisa kita bayangkan alangkah susahnya si squid ini mencari data yg diminta oleh user di dir-dir cachenya tsb.

tntukan set awal:
1. set 6 dir cache, 3 dipakai 3 lgi cadangan ( jgn dlu dipakai).
2. konfigurasinya, terutama penambahan rule refresh patternnya yg bertahap jgn lngsung numplek blek, liat user habit.

tutorialnya dri bang tamam jgn lngsung ditelen bro, uji coba dulu dg 3 dir cache tpi jgn dipakai sluruh kuotanya msalkn dir cachenya 19GB pkai sekitar 7GB dlu nnti bru ditambah bertahap sesuai situasi dn kondisi
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby q_p » 05 Jun 2013, 16:41

...
cache_swap_low 90
cache_swap_high 95
...
brarti untuk selamanya max cache dir nantinya 95% tanpa mempengaruhi
cache_replacement_policy
bgitu mas ya?
  • Kurang lebihnya begitu, dir_cache akan terpakai dalam kisaran 90-95.
  • Sebaiknya anda perhatikan juga volume fisik RAM yang tersedia dengan volume total dir_cache.
Sedangkan cache_replacement_policy adalah parameter yang digunakan untuk mengganti obyek lama dengan obyek baru (http://www.squid-cache.org/Doc/config/c ... nt_policy/).

Code: Select all

lru : Squid's original list based LRU policy heap GDSF : Greedy-Dual Size Frequency heap LFUDA: Least Frequently Used with Dynamic Aging heap LRU : LRU policy implemented using a heap
User avatar
nagas
Posts: 8
Joined: 25 Mar 2013, 14:50

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby nagas » 09 Jun 2013, 02:47

@bang_andi
makasih saranya mas saya coba dlu keduanya...
penambahan rule refresh patternnya yg bertahap jgn lngsung numplek blek, liat user habit...caranya apakah hanya menghapus yg tdk diperlukan aja?
sya ga asal telen jga bro...ada beberapa bagian opsi squid sya rubah sesuai saran dari forum ini mas...

@Pragola_Pati
kemungkinan besar sih volum fisik ram sya
ini maksudnya ya?
RAM 2G
memory useage 44%, cache dir yg dihandle 100g
ok sya tambah ram kurangi cache dir...sya coba dlu...
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby q_p » 09 Jun 2013, 15:12

..
memory useage 44%, cache dir yg dihandle 100g
...
Dari mana anda memperoleh informasi memory useage 44% ?
Bandingkan dengan perintah =

Code: Select all

# top ####atau### # free -m
User avatar
yudiarbi
Posts: 627
Joined: 22 Mar 2011, 09:31
Location: Probolinggo, Jawa Timur
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby yudiarbi » 10 Jun 2013, 16:38

jgn lupa logrotate di aktifkan
User avatar
bang_andi
Posts: 398
Joined: 03 Sep 2010, 09:07
Location: Di sekitar sungai musi...
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby bang_andi » 10 Jun 2013, 19:35

@nagas

ram 2GB, kinerja squid terasa berat atau melambat.

sbnernya ada bbrapa faktor pnyebabnya, ya salah satunya mungkin ram anda sdh mulai down performansinya atau perlu menambah kapasitas ram jka memang byk service yg dijalankan oleh sistem.

perintah dbawah ini mungkin adalah solusinya, coba dilakukan & diperhatikan hasilnya, jika kinerja squidnya kembali normal kecepatannya saat perintahnya dilakukan, maka masukan saja perintahnya di crontab llu dibuat jadwal eksekusinya, setiap hari & pd jam berapa.

Utk Mengurangi Pengunaan Memori :

# sudo sync && echo 3 | sudo tee /proc/sys/vm/drop_caches
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby q_p » 10 Jun 2013, 21:40

Mirip dengan yang di atas, bisa anda lihat pada postingan ini dan forums/ubbthreads.php/topics/135122#Post135122
Berikut kutipan-nya =
...
Usahakan tambah RAM sampai batas maksimal dayadukung mothernoard, sebagai solusi utama. Untuk sementara, anda bisa terapkan yang berikut ini =
  • Tambahkan ke file sysctl.conf =

    Code: Select all

    vm.drop_caches=3
    Kalau sudah, jalankan sysctl -p
  • Tambahkan ke crontab =

    Code: Select all

    sync && /sbin/sysctl vm.drop_caches=3 && swapoff -a && swapon -a
    Sudah tentu ini hanya solusi sementara sebelum up-grade memory.
...
User avatar
nagas
Posts: 8
Joined: 25 Mar 2013, 14:50

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby nagas » 11 Jun 2013, 23:11

@Pragola_Pati
mem useage 44% sya dpt dari layar utama sehabis log in putty mas
sya rasa blm ada pengaruh untuk perubahan cache swap

untuk crontab sya blm sempat coba mas waktu itu
Tambahkan ke crontab =
Code:
@hourly sync && sysctl -w vm.drop_caches=3 && sysctl -w vm.drop_caches=0

akhirnya sya ikutin saran

@bang_andy
dri bang tamam opsi squid yg sya rubah
zph mode, quick_abort_min -1 KB, ipcache_size 16048, cache swap, storeurl_rewrite_children, beberapa acl utk refresh pattern sya blm ngerti
berharap ada tambahan dari bang_andy hehhhe...
berhubung hardisk system bunyi kletek" sya jga baru tahu pagi" buta waktu itu
saat ini sya pakai hdd 250 G 2 buah ram 2G

cache_dir aufs /cache1 15000 32 256
setelah 2 hari penuh

=> /cache1 is using 98.1% of 13.97GB
respon squid tetep lancar hingga saat ini...

Code: Select all

root@sinaga:~# free -m total used free shared buffers cached Mem: 1982 1853 129 0 84 1552 -/+ buffers/cache: 215 1766 Swap: 3813 0 3813 top - 22:34:58 up 3 days, 14:41, 1 user, load average: 0.12, 0.09, 0.06 Tasks: 90 total, 1 running, 89 sleeping, 0 stopped, 0 zombie Cpu(s): 0.5%us, 0.0%sy, 0.0%ni, 99.0%id, 0.5%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 2030120k total, 1908648k used, 121472k free, 86320k buffers Swap: 3905532k total, 0k used, 3905532k free, 1601984k cached PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 1003 proxy 20 0 99.6m 88m 1516 S 1 4.5 55:16.13 squid 7194 root 20 0 2824 1112 880 R 1 0.1 0:00.05 top 1 root 20 0 3524 1516 928 S 0 0.1 0:00.38 init 2 root 20 0 0 0 0 S 0 0.0 0:00.06 kthreadd 3 root 20 0 0 0 0 S 0 0.0 0:03.79 ksoftirqd/0 6 root RT 0 0 0 0 S 0 0.0 0:00.00 migration/0 7 root RT 0 0 0 0 S 0 0.0 0:00.73 watchdog/0 8 root RT 0 0 0 0 S 0 0.0 0:00.00 migration/1 10 root 20 0 0 0 0 S 0 0.0 0:56.39 ksoftirqd/1 11 root RT 0 0 0 0 S 0 0.0 0:00.62 watchdog/1 12 root 0 -20 0 0 0 S 0 0.0 0:00.00 cpuset 13 root 0 -20 0 0 0 S 0 0.0 0:00.00 khelper 14 root 20 0 0 0 0 S 0 0.0 0:00.00 kdevtmpfs 15 root 0 -20 0 0 0 S 0 0.0 0:00.00 netns 17 root 20 0 0 0 0 S 0 0.0 0:00.42 sync_supers 18 root 20 0 0 0 0 S 0 0.0 0:00.01 bdi-default 19 root 0 -20 0 0 0 S 0 0.0 0:00.00 kintegrityd 20 root 0 -20 0 0 0 S 0 0.0 0:00.00 kblockd 21 root 0 -20 0 0 0 S 0 0.0 0:00.00 ata_sff 22 root 20 0 0 0 0 S 0 0.0 0:00.00 khubd 23 root 0 -20 0 0 0 S 0 0.0 0:00.00 md 26 root 20 0 0 0 0 S 0 0.0 0:00.06 khungtaskd 27 root 20 0 0 0 0 S 0 0.0 0:13.02 kswapd0 28 root 25 5 0 0 0 S 0 0.0 0:00.00 ksmd 29 root 39 19 0 0 0 S 0 0.0 0:00.00 khugepaged 30 root 20 0 0 0 0 S 0 0.0 0:00.00 fsnotify_mark 31 root 20 0 0 0 0 S 0 0.0 0:00.00 ecryptfs-kthrea 32 root 0 -20 0 0 0 S 0 0.0 0:00.00 crypto 41 root 0 -20 0 0 0 S 0 0.0 0:00.00 kthrotld 43 root 20 0 0 0 0 S 0 0.0 0:00.00 scsi_eh_0 44 root 20 0 0 0 0 S 0 0.0 0:00.00 scsi_eh_1 45 root 20 0 0 0 0 S 0 0.0 0:00.00 scsi_eh_2
sperti wndws task manager ya mas?

@yudiarbi
sudah ada mas logfile_rotate 1
makasi mas atas sarannya
dri bang tamam logfile_rotate 5 sedang mas Pragola_Pati 1 bedanya dimana kira" mas?
apa yg harus sya rubah nantinya
maklum masih baru mohon bimbingannya
User avatar
q_p
Posts: 3109
Joined: 14 Oct 2012, 13:01
Contact:

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby q_p » 12 Jun 2013, 00:43

@TS
Solved mas ?
User avatar
nagas
Posts: 8
Joined: 25 Mar 2013, 14:50

Re: [ASK] Squid Melambat dan dir_cache penuh

Postby nagas » 14 Jun 2013, 02:10

iya mas masalah selesai menurut saya....

makasi buat yg udah bantu.

Who is online

Users browsing this forum: No registered users and 3 guests