Jika Cache Dir Squid Hampir Penuh

Diskusi tentang Ubuntu Server baik webserver, database server, samba server dan service lainnya serta jaringan menggunakan Sistem Operasi Ubuntu.
User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Jika Cache Dir Squid Hampir Penuh

Postby MasDjo » 03 Dec 2010, 15:40

Ada pertanyaan yg cukup mengganjal nih,
[size:14pt][color:#3333FF]Apa yang harus kita lakukan jika cache-disk squid sudah penuh atau hampir penuh ?
[/color][/size]
1. Apakah kita harus mengosongkan cache dir tsb ?
2. Ataukah biarkan saja dan mekanisme squid yg akan mengaturnya, dimana cache yg lama akan digantikan dg yg baru.

Bila kita mengambil langkah no 2, apakah tidak ada pengaruhnya thd performa squid kita, misal akses internet menjadi lebih lambat, dsb.

Mohon masukan dari rekan2 para warga Forum Ubuntu Indonesia, terutama para mastah squid atau yg sudah berpengalaman dlm per-squid-an :grin:
Karena saya sudah beberapa kali mengalami full disk cache, maklum ukuran kecil (hanya 12 MB) dan langkah yg saya ambil selama ini adalah mengosongkan cache, karena kok saya "merasa" internetnya jadi rada lelet :(
Terimakasih sebelumnya :)
User avatar
ninja
Posts: 2260
Joined: 27 Jan 2010, 16:23
Location: Tangerang, Banten, indonesia
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby ninja » 03 Dec 2010, 16:39

wew kecil amat masdjo cache dir nya? :grin:
punya ane 7 GB yang dipake di squid.confnya cuma 6 GB biar nantinya engga bingung tuh squid kalo seandainya penuh, tapi selama ini engga pernah ampe Full...
kalo ane ngalamin Full kayak gitu udah pasti tak squid -z aja :D
User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby MasDjo » 03 Dec 2010, 18:16

Iya sih bro Ninja, harddisknya hanya 20 GB, utk partisi cache 15 GB & 12 GB (80 %) utk cache squid.
Selama ini memang gitu ( pake squid -z), cuma masalahnya apakah itu perlu dan lagi sayang juga hasil caching beberapa bulan di ZAP :)
User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby Rh354 » 04 Dec 2010, 03:52

MasDjo wrote:Iya sih bro Ninja, harddisknya hanya 20 GB, utk partisi cache 15 GB & 12 GB (80 %) utk cache squid.
Selama ini memang gitu ( pake squid -z), cuma masalahnya apakah itu perlu dan lagi sayang juga hasil caching beberapa bulan di ZAP :)
mainkan refresh pattern :D otomatis squid akan mendelete suatu konten apabila konten itu telah expired..
User avatar
ninja
Posts: 2260
Joined: 27 Jan 2010, 16:23
Location: Tangerang, Banten, indonesia
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby ninja » 04 Dec 2010, 06:11

Rh354 wrote:
MasDjo wrote:Iya sih bro Ninja, harddisknya hanya 20 GB, utk partisi cache 15 GB & 12 GB (80 %) utk cache squid.
Selama ini memang gitu ( pake squid -z), cuma masalahnya apakah itu perlu dan lagi sayang juga hasil caching beberapa bulan di ZAP :)
mainkan refresh pattern :D otomatis squid akan mendelete suatu konten apabila konten itu telah expired..

ilmu refresh pattern nya belom diturunin mastah :shocked:
di tunggu deh di posting dimari, masdjo juga nunggu tuh bro rhes :grin:
User avatar
sipelaut
Posts: 1963
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby sipelaut » 04 Dec 2010, 07:45

nah ini dia refresh pattern
selama ini aku pasang di squid, cuman belum tau apa kegunaannya...
karena hanya copy paste aja dari beberapa situss...
klo bro Rh354 berkenan dan bersedia menulisnya asikk tuchh
biar kita2 sekalian ngerti apa itu refresh pattern biar gak asal copy paste dari situs heeeeeeee..............
User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby MasDjo » 04 Dec 2010, 10:58

ninja wrote:ilmu refresh pattern nya belom diturunin mastah :shocked:
di tunggu deh di posting dimari, masdjo juga nunggu tuh bro rhes :grin:


Betul betul betul..... :ngarep banget: :malu: :grin:

Sekalian sama posisi watermark (kalo gak salah :grin: ) atas - bawah yg optimal bagaimana ( cache_swap_low / high )
User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby Rh354 » 04 Dec 2010, 13:03

asik belajar....nyok qta belajar lg :D

Code: Select all

# TAG: refresh_pattern
# usage: refresh_pattern [-i] regex min percent max [options]
# contoh:
refresh_pattern . 0 20% 4320

# Basically a cached object is:
#
# FRESH if expires < now, else STALE
# STALE if age > max
# FRESH if lm-factor < percent, else STALE
# FRESH if age < min
# else STALE


Mekanisme umum akses internet via web browser utk menguji validitas ('freshness') obyek yg tersimpan adl dg 'menjenguk' obyek tsb ke server asal/sumber dan membandingkannya dg obyek yg sama yg sudah tersimpan di lokal. Jadi memang 'boros' walaupun belum tentu setiap saat obyek tersebut diambil lho, jadi hanya sekedar di'tanyai' saja 'tgl lahirnya' (dan ada beberapa info yg lain yg penting juga, tapi kita fokus di 'umur'nya saja). Dg demikian saran utk teman-teman yg mengelola warnet adl dg memperbesar cache lokal web browser (internet temporary files-nya utk IE dan tidak salah default-nya 10% dari ukuran partisinya ya?). Kenapa kok 'umur' obyek (atau halaman web) diuji? Ya kira2 jawabannya supaya informasinya selalu yg terbaru dan tidak salah (kalau tidak mau yg terbaru dan selalu hanya mengakses yg sudah tersimpan di lokal cache web browser ya di-set saja mode 'offline, dijamin akses akan sangat lebih cepat dan sangat hemat bandwidth, tapi dg konsekuensi ekstrim spt halaman tsb di server sudah dihapus, di sisi klien bakalan tidak tahu lho). Kepingin mjd 'super boros' dg asumsi tanpa Squid atau cache server (bukan lokal cache lho)? ya cache di web browser dimatikan saja shg setiap saat akses internet akan selalu mengambil obyek/halaman langsung dari server asal/sumbernya (tapi irit tempat di hardisk lokal, hanya ini keuntungannya). Jelas dari sisi latensi akan naik drastis. Kira2 sudah bisa dibayangkan ya? hi hi hi ... (makanya beberapa ISP secara diam2 akan men'transparan'kan cache server dg maksud mau membantu ekstrimis yg 'super boros' ini tadi, he he he ... apa hanya sekedar alasan buat mereka menghemat bw ya?)

Baik skrg masuk peran Squid yg pada dasarnya bersifat 'shared' obyek lokal dalam konteks 1 domain. Secara garis besar mekanisme kerjanya mirip dg 'temporary cache' lokal web browser itu tadi cuma bedanya dipakai bersama dg user yg lain. Yg membedakan dalam kaitannya dg refresh_pattern adl Squid tidak tidak akan 'bertanya' validitas obyek jika ternyata 'umur'nya masih dalam durasi refresh_pattern-nya (default minimum Squid 120 menit atau 2 jam, kalau tidak salah). Jadi jika 'umur' obyek sejak di'lahir'kan belum mencapai 2 jam (utk contoh) maka Squid tidak akan mengakses server asal/sumber utk mengambil info 'umur'nya, dg kata lain obyek akan dianggap masih valid selama durasi waktu tadi (2 jam, misalnya), alias penghematan bw dan peningkatan responsivitas akses.

Kerugian jika refresh_pattern minimum (min) terlalu lama, misalnya kita set 1 hari, jelas jika ternyata dalam waktu kurang dari 1 hari obyek di ujung server asal berubah, di sisi klien dan Squid-nya masih akan tetap dianggap valid, atau dg kata lain, informasinya salah/tidak akurat, lha halaman web-nya memang tidak sama dg yg di server. Bagi web desainer, contoh saja lho tanpa ada masuk diskriminasi, he he he ... akan tidak suka krn ada kebutuhan 'instan' setiap kali mengubah atau memperbaiki halaman web di ujung server utk keperluan evaluasi (ya jelas tidak akan mau menunggu 1 hari utk melihat perubahannya, ha ha ha ... benar ya?). Jadi intinya min refresh_pattern adalah keterangan kapan waktu 'tersegera' utk menguji validitas obyek. Jika obyek teruji masih valid, Squid akan mengambil dari lokal cache swap-nya, jika obyek sudah tidak valid ya jelas Squid akan mengambil obyek dari server asal. Sekarang masalahnya, bagaimana jika obyek tidak memiliki 'umur' atau info 'tgl lahir'? (tidak semua web itu memiliki info ini lho, tergantung si web programernya).

Kapan menguji atau mengambil langsung dari server asal obyek 'tak berumur' ini, toh validitasnya tidak bisa diuji? Persentase dan nilai maksimum-lah yg akan menentukan (percentage max). Obyek tanpa umur ini tadi akan dianggap valid oleh Squid selama umur minimumnya 50% dari umur maksimumnya, misalnya. Utk contoh 50% 120 akan berarti obyek tanpa umur valid selama 'umur'nya masih kurang dari 1 jam (50% dari 120 menit). Menurut pengalaman perubahan obyek2 HTTP di internet itu relatif 'lamban', maka kebiasaan gw pribadi demi Squid yg 'agresif' adalah antara 80% s/d 95% dg nilai maksimum hingga 1 bulan (berapa menit ya, sori lupa) dan utk FTP krn semakin jarang berubah bisa lebih lama lagi bisa hingga 3 bulan atau 6 bulan. Tentunya ini tergantung profil pengguna internet anda lho, hanya contoh ekstrim saja. Jadi saat 'umum' maksimum yg sudah didefinisikan di refresh_pattern tercapai, jelas Squid akan 'menjenguk' obyek tsb ke asal servernya. Dg asumsi obyek masih sama maka Squid akan mengambil dari loka cache swap-nya. Jika ternyata obyek sudah berbeda, misalnya dari ukuran file atau saat file obyek tsb berbeda, maka Squid akan mengambil dari server tsb.

Opsi override-lastmod dan reload-into-ims kepanjangannya adalah 'override last modification' dan 'reload into if-modified-since'. Override-lastmod akan meng'override' perubahan yg terjadi di server asal obyek dg mengabaikan validitasnya hingga minimum refresh_pattern-nya tercapai. Efeknya obyek di lokal Squid bisa berbeda dg obyek yg di server asal. Tapi opsi ini masih mengijinkan si user 'memaksa' menguji validitasnya dg menekan tomboh 'reload' atau 'refresh' di web browser. Opsi ini, kalau gw memandangnya 'agak menipu sedikit', he he he ... Sbg contoh di atas, gw yakin obyek di ujung server sudah berubah walaupun terakhir gw akses baru 10 menit yg lalu (min refresh_pattern=120 menit, misalnya), maka dg menekan tombol 'reload' di browser gw akan bisa menguji validitas obyek tsb dg yg di server asal, dan jika ternyata ya benar obyek tsb sudah berubah, jelas Squid akan langsung mengambil obyek lebih baru dari server asal. Jika gw biarkan saja akses ke obyek tsb tanpa menekan tombol 'reload' di browser maka mekanisme uji validitas mempergunakan min refresh_pattern akan berlaku biasa.

Opsi reload-into-ims akan mengubah atau memodifikasi 'umur' obyek sehingga seakan-akan 'dilahirkan' kembali atau 'direset'. Misalnya gw pernah mengakses suatu obyek suatu obyek 1,5 jam yg lalu, dan gw akses lagi obyek yg sama sekarang, maka 'umur' obyek yg sama ini akan dianggap 'fresh' atau obyek baru dan sudah tidak berumur 1,5 jam yg lalu. Keuntungan opsi ini adalah mekanisme 'penyegaran' umur obyek populer sehingga tidak pernah mjd 'tua' hingga nilai percentage dan maksimumnya tercapai, sekali lagi 'agak menipu', he he he ... Kendali penuh tetap di user utk menekan tombol 'reload' atau 'refresh' jika tidak yakin obyek 'fresh'.
User avatar
sipelaut
Posts: 1963
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby sipelaut » 04 Dec 2010, 13:27

nanyak mas, nanyak yg dasar2 dolo nichh, sebagian lagi nanti nyusul :)
1. apa jadinya bila squid tidak dipasangi refresh_pattern??, apakah semua web akan di simpen oleh squid.
User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby Rh354 » 04 Dec 2010, 13:33

sipelaut wrote:nanyak mas, nanyak yg dasar2 dolo nichh, sebagian lagi nanti nyusul :)
1. apa jadinya bila squid tidak dipasangi refresh_pattern??, apakah semua web akan di simpen oleh squid.
default minimum Squid 120 menit atau 2 jam

artinya tetep mengcache..refresh pattern adalah proses ngakali :D
User avatar
lisnux
Posts: 1763
Joined: 02 Jan 2010, 16:26
Location: Samarinda
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby lisnux » 04 Dec 2010, 15:59

wew panjang banget .....
dicerna dulu pelan2 :grin:
User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby MasDjo » 04 Dec 2010, 16:06

Maaf nih bro Rh354, pengertian yg saya tangkap adl, refresh_pattern untuk 'validasi' suatu object yg tersimpan di cache lokal dg source nya, jadi objek yg 'direfresh' atau diganti adl objek yg sesuai saja.
lalu hubungannya :
mainkan refresh pattern :laugh: otomatis squid akan mendelete suatu konten apabila konten itu telah expired..

dg pertanyaan saya, jika disk cache sudah penuh, padahal ada objek baru yg akan akan dicache, lha ..objek tsb kan belum ada daftarnya, lalu akan diletakkan dimana cachenya ?
Lalu apa ada hubungan antara pasangan:
cache_swap_low & cache_swap_high dengan refresh_pattern ?
Squid.org
The low- and high-water marks for cache object replacement.
Replacement begins when the swap (disk) usage is above the
low-water mark and attempts to maintain utilization near the
low-water mark. As swap utilization gets close to high-water
mark object eviction becomes more aggressive. If utilization is
close to the low-water mark less replacement is done each time.

Defaults are 90% and 95%. If you have a large cache, 5% could be
hundreds of MB. If this is the case you may wish to set these
numbers closer together.
User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby Rh354 » 04 Dec 2010, 23:49

buat yg pusing sama refresh pattern ini gw jelasin secara simpel
=================================

Refresh_pattern itu sebenarnya buat ngukur seberapa lama sih object itu tersimpan di cache squid kita, krg lebih artinya umur objectnya gitu deh, krn pada dasarnya beberapa object kadang selalu terupdate di server websitenya.
Umumnya penulisan refresh_pattern tercantum min percent max (sprti: 720 100% 4320), tentunya ada opsi2 lain dibelakangnya. min dan max itu nilainya menit. Min itu batas minimum object harus direfresh (diupdate dr server), sedangkan max itu batas maximal object harus direfresh, kalo persennya itu utk perhitungan jika umur object berada di antara min dan max.
Jadi bgini, swaktu kita akan merequest atau membuka kembali sbuah object yg sudah tersimpan di cache, maka squid akan menilai umur object berdasarkan refresh patternnya.
kalo umur object masih berada di bawah nilai min, maka object itu dianggap masih bs dipake kembali tanpa perlu ngecek ke server. Artinya, 'ah.. ni object masih seger lah baru td disimpen kok, gak usah ngecek ke server websitenya deh, ambil aja langsung trus tempel di halaman web'.
Tp klo umur object berada di atas nilai max, maka squid akan melakukan pengecekan ke server dan meminta object agar diupdate (refresh).
Nah, bagaimana kalo object yg sedang diminta itu umurnya berada di antara min dan max. Di sinilah nilai persentase itu dipake, persentase itu maksudnya adalah persentase umur object di cache dibandingkan dengan umur object di servernya. tp gmn njelasinnya ya, pke contoh aja yak:

ada sebuah objek, refresh_pattern nya 20 75% 300

object ini dibikin di servernya jam 1:00
object pertama kali direquest dan tersimpan dalam cache jam 1:30
object direquest kembali jam 1:45

Nah brarti umur object di cachenya adlh 15 mnit (1:45-1:30)
squid blm bs menentukan object ini kadaluarsa apa blm krn berada di antara batas min (10) dan max (300). Nah kali ini pake persentase, jd perhitungannya ya hrs pake persen jg (bkn menit).

mari kita hitung persentase umur object:
umur object di cache: 15 menit (1:45-1:30)
umur object di server: 45 menit (1:45-1:30)
brarti persennya: 15/45 = 33%

Kesimpulannya, object dianggap masih fresh krn masih berada di bawah 75%.

=============================

cache swap low

Code: Select all

This directive, along with cache_swap_high controls the replacement of objects stored on disk.
It is a percentage of the maximum cache size, which comes from the sum of all cache_dir sizes.


penjelasan panjangnya

The cache_swap_low and cache_swap_high directives control the replacement of objects stored
on disk. Their values are a percentage of the maximum cache size, which comes from the sum
of all cache_dir sizes. For example:
cache_swap_low 90
cache_swap_high 95

As long as the total disk usage is below cache_swap_low, Squid doesn't remove cached objects.
As the cache size increases, Squid becomes more aggressive about removing objects. Under
steady-state conditions, you should find that disk usage stays relatively close to the
cache_swap_low value. You can see the current disk usage by requesting the storedir page
from the cache manager

===============indonesianya===========
Cache_swap_low/high jumlah (dalam persen)
Squid akan menghapus object yang ada didalam hardisknya jika media tersebut mulai penuh. Ukuran penuh ini yang diset pada cache_swap_low dan cache_swap_high. Bila batas swap_low telah tercapai maka squid mulai menghapus dan jika batas swap_high tercapai maka squid akan semakin sering menghapus.
User avatar
ninja
Posts: 2260
Joined: 27 Jan 2010, 16:23
Location: Tangerang, Banten, indonesia
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby ninja » 05 Dec 2010, 00:26

hmmmm....
penjelsannya lengkap banget :grin:
perlu dicerna dulu biar paham
User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby MasDjo » 05 Dec 2010, 14:52

refresh_pattern :
objek cache objek server/source
==> jika kadaluarsa diupdate
Hasil : objek cache akan selalu update, tetapi tidak memberi tambahan ruang kosong pd disk-cache.

cache_swap_low/high persen space cache disk yg terpakai
==> jika sampai batasnya, cache yg lama dihapus
Hasil : memberi ruang kosong untuk objek cache baru, shg squid tdk akan pernah kehabisan ruang cache.

Itu kesimpulan saya, moga2 gak salah :grin:

Mestinya dg 2 mekanisme di atas, kita tidak perlu repot2 'ngurusi' habis tidaknya cache squid karena sudah otomatis diatur oleh squid. :grin:

Tetapi 'perasaan" saya ketika cache hampir penuh kok internetnya terasa lebih lambat, apa memang begitu ya..? Atau karena spek hardware saya yg pas-pasan :
Spek = Pentium 3 733, RAM 320 MB, HDD ATA 5400 RPM 20 GB
Shg ketika ukuran swap semakin besar 'proses baca' jadi lebih lama :confused:
Dan ini kondisi swap saya sekarang :
Kondisi swap
squidclient mgr:storedir
HTTP/1.0 200 OK
Server: squid/2.7.STABLE9
Date: Sun, 05 Dec 2010 07:51:09 GMT
Content-Type: text/plain
Expires: Sun, 05 Dec 2010 07:51:09 GMT
X-Cache: MISS from dns.masdjo.net
X-Cache-Lookup: MISS from dns.masdjo.net:3128
Via: 1.0 dns.masdjo.net:3128 (squid/2.7.STABLE9)
Connection: close

Store Directory Statistics:
Store Entries : 619122
Maximum Swap Size : 12288000 KB
Current Store Swap Size: 11176988 KB
Current Capacity : 91% used, 9% free

Store Directory #0 (aufs): /proxy1
FS Block Size 4096 Bytes
First level subdirectories: 28
Second level subdirectories: 256
Maximum Size: 12288000 KB
Current Size: 11176988 KB
Percent Used: 90.96%
Current load metric: 100 / 1000
Filemap bits in use: 619025 of 1048576 (59%)
Filesystem Space in use: 11350208/15612940 KB (73%)
Filesystem Inodes in use: 624976/15623168 (4%)
Flags: SELECTED
Accepted object sizes: 0 - (unlimited) bytes
Removal policy: heap
User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby Rh354 » 05 Dec 2010, 14:59

MasDjo wrote:refresh_pattern :
objek cache objek server/source
==> jika kadaluarsa diupdate
Hasil : objek cache akan selalu update, tetapi tidak memberi tambahan ruang kosong pd disk-cache.

cache_swap_low/high persen space cache disk yg terpakai
==> jika sampai batasnya, cache yg lama dihapus
Hasil : memberi ruang kosong untuk objek cache baru, shg squid tdk akan pernah kehabisan ruang cache.

Itu kesimpulan saya, moga2 gak salah :grin:

Mestinya dg 2 mekanisme di atas, kita tidak perlu repot2 'ngurusi' habis tidaknya cache squid karena sudah otomatis diatur oleh squid. :grin:

Tetapi 'perasaan" saya ketika cache hampir penuh kok internetnya terasa lebih lambat, apa memang begitu ya..? Atau karena spek hardware saya yg pas-pasan :
Spek = Pentium 3 733, RAM 320 MB, HDD ATA 5400 RPM 20 GB
Shg ketika ukuran swap semakin besar 'proses baca' jadi lebih lama :confused:
Dan ini kondisi swap saya sekarang :
Kondisi swap
squidclient mgr:storedir
HTTP/1.0 200 OK
Server: squid/2.7.STABLE9
Date: Sun, 05 Dec 2010 07:51:09 GMT
Content-Type: text/plain
Expires: Sun, 05 Dec 2010 07:51:09 GMT
X-Cache: MISS from dns.masdjo.net
X-Cache-Lookup: MISS from dns.masdjo.net:3128
Via: 1.0 dns.masdjo.net:3128 (squid/2.7.STABLE9)
Connection: close

Store Directory Statistics:
Store Entries : 619122
Maximum Swap Size : 12288000 KB
Current Store Swap Size: 11176988 KB
Current Capacity : 91% used, 9% free

Store Directory #0 (aufs): /proxy1
FS Block Size 4096 Bytes
First level subdirectories: 28
Second level subdirectories: 256
Maximum Size: 12288000 KB
Current Size: 11176988 KB
Percent Used: 90.96%
Current load metric: 100 / 1000
Filemap bits in use: 619025 of 1048576 (59%)
Filesystem Space in use: 11350208/15612940 KB (73%)
Filesystem Inodes in use: 624976/15623168 (4%)
Flags: SELECTED
Accepted object sizes: 0 - (unlimited) bytes
Removal policy: heap
melambatnya itu bisa banyak faktor om...apakah bottleneck di HDD,resources yg dipake squid udah ga' ada lg dll :D

untuk suksesnya squid ada 3 FAKTOR yg diperhitungkan om :

1. Hardware
2. konfigurasi di squid.conf
3. user habit

:D

contoh harddisk ATA tentu akan berbeda hasil dengan SATA dan SATA dengan SCSI :D
User avatar
ninja
Posts: 2260
Joined: 27 Jan 2010, 16:23
Location: Tangerang, Banten, indonesia
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby ninja » 06 Dec 2010, 14:37

Rh354 wrote:contoh harddisk ATA tentu akan berbeda hasil dengan SATA dan SATA dengan SCSI :D

jelasin perbedaan dari ketiga jenis HDD itu dunk mastah.

kalo ane perhatiin emank ketiga faktor tersebut sangat berpengaruh sama perform squid, contohnya ane buat partisi /cache di /dev/sda1 (primary, reiserfs) sama di /dev/sda6 (logical, EXT3) dari kedua partisi tsb squid akan terasa lebih powerfull di /dev/sda1 :)
User avatar
sipelaut
Posts: 1963
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby sipelaut » 06 Dec 2010, 15:15

ninja wrote:jelasin perbedaan dari ketiga jenis HDD itu dunk mastah.

kalo ane perhatiin emank ketiga faktor tersebut sangat berpengaruh sama perform squid, contohnya ane buat partisi /cache di /dev/sda1 (primary, reiserfs) sama di /dev/sda6 (logical, EXT3) dari kedua partisi tsb squid akan terasa lebih powerfull di /dev/sda1 :)

tanyak soal noatime/notail broo.. mudah2an tidak OOT saya nichh
perubahan yg harus dirubah itu dibagian mananya broo...
berikut file fstab di salah satu server kantor
================================
proc /proc proc defaults 0 0
# /dev/sda1
UUID=eded73d9-99b2-4567-8cf2-8170d6db6286 / reiserfs relatime 0 1
# /dev/sda2
UUID=7fb2b77f-3251-47a6-af7e-56f59f01f865 /boot reiserfs notail,relatime 0 2
# /dev/sda12
UUID=8f9c83ab-2b2d-4799-932b-5007d007d65b /home reiserfs relatime 0 2
# /dev/sda13
UUID=a7a9c32d-13ea-4dd7-9267-94e89880654d /opt reiserfs relatime 0 2
# /dev/sda5
UUID=d99f49c2-5013-43cd-8dc9-34e922fb5247 /proxy1 reiserfs relatime 0 2
# /dev/sda6
UUID=0015e95c-cf10-44a7-be3b-25903def9972 /proxy2 reiserfs relatime 0 2
# /dev/sda7
UUID=490668a7-0549-45d9-86b5-bec99879bc71 /proxy3 reiserfs relatime 0 2
# /dev/sda8
UUID=81d410a1-f610-445c-9b56-2d9c45439768 /proxy4 reiserfs relatime 0 2
# /dev/sda10
UUID=d7974bf8-fcce-4225-9f96-3a42d824734f /proxy5 reiserfs relatime 0 2
# /dev/sda9
UUID=4f5830c8-0fb6-4a32-85f8-630a022ec22d /proxy6 reiserfs relatime 0 2
# /dev/sda11
UUID=463f25bc-455c-4d7c-8a34-3a4361e0145c /var reiserfs relatime 0 2
# /dev/sda3
UUID=84e13f5c-9c90-41ad-82c7-f1de8f5ba730 none swap sw 0 0
/dev/scd0 /media/cdrom0 udf,iso9660 user,noauto,exec,utf8 0 0
===========================
opsi yang harus diubah menjadi noatime/notai itu yang bagian mana???
apakah harus semuanya??
sebelumnya teng's. mudah2an saya tidak OOT nichh
User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby Rh354 » 06 Dec 2010, 17:42

ninja wrote:
Rh354 wrote:contoh harddisk ATA tentu akan berbeda hasil dengan SATA dan SATA dengan SCSI :D

jelasin perbedaan dari ketiga jenis HDD itu dunk mastah.

kalo ane perhatiin emank ketiga faktor tersebut sangat berpengaruh sama perform squid, contohnya ane buat partisi /cache di /dev/sda1 (primary, reiserfs) sama di /dev/sda6 (logical, EXT3) dari kedua partisi tsb squid akan terasa lebih powerfull di /dev/sda1 :)

ext3 ato reiserfs?! skrng sudah ext4, sebenernya untuk kecepatan baca lebih cepat ext3 ketimbang Reiserfs tetapi menurut pengamatan gw klo Reiserfs dia lebih cepat respon untuk mencari file yg berada difolder dan didalam folder lagi dan dalamnya lagi.
tp ini menurut pengamatan gw, klo salah yah dikoreksi.

masalah mengenai perbedaan HDD itu ada disini bro

Code: Select all

http://www.webopedia.com/DidYouKnow/Computer_Science/2007/sas_sata.asp


Code: Select all

http://www.pugetsystems.com/articles.php?id=19


masalah mengenai perbedaan file system ada bacaan dikit

Tampilkan
1. ext2 Second Extended Filesystem- Old, reliable GNU/Linux filesystem. Very stable, but without journaling support. May be inconvenient for root (/) and /home, due to very long fsck�s. An ext2 filesystem can easily be converted to ext3. Generally regarded as a good choice for /boot/.
2. ext3 Third Extended Filesystem- Essentially the ext2 system, but with journaling support. ext3 is backward compatible with ext2. Extremely stable, mature, and by far the most widely used, supported and developed GNU/Linux FS.
3. ext4 Fourth Extended Filesystem- Backward compatible with ext2 and ext3. Introduces support for volumes with sizes up to 1 exabyte and files with sizes up to 16 terabytes. Increases the 32,000 subdirectory limit in ext3 to 64,000. Offers online defragmentation ability.
4. ReiserFS (V3)- Hans Reiser�s high-performance journaling FS uses a very interesting method of data throughput based on an unconventional and creative algorithm. ReiserFS is touted as very fast, especially when dealing with many small files. ReiserFS is fast at formatting, yet comparatively slow at mounting. Quite mature and stable. ReiserFS is not actively developed at this time (Reiser4 is the new Reiser filesystem). Generally regarded as a good choice for /var/.
5. JFS � IBM�s Journaled FileSystem- The first filesystem to offer journaling. JFS had many years of use in the IBM AIX� OS before being ported to GNU/Linux. JFS currently uses the least CPU resources of any GNU/Linux filesystem. Very fast at formatting, mounting and fsck�s, and very good all-around performance, especially in conjunction with the deadline I/O scheduler. (See JFS.) Not as widely supported as ext or ReiserFS, but very mature and stable.
6. XFS � Another early journaling filesystem originally developed by Silicon Graphics for the IRIX OS and ported to GNU/Linux. XFS offers very fast throughput on large files and large filesystems. Very fast at formatting and mounting. Generally benchmarked as slower with many small files, in comparison to other filesystems. XFS is very mature and offers online defragmentation ability.


ini ada bacaan ttg benchmark nya

Code: Select all

http://www.gurulabs.com/archive/ext3-reiserfs/


Code: Select all

http://www.debian-administration.org/articles/388


Tampilkan
Jenis file system :

EXT2

EXT2 adalah file sistem yang ampuh di linux. EXT2 juga merupakan salah satu file sistem yang paling ampuh dan menjadi dasar dari segala distribusi linux. Pada EXT2 file sistem, file data disimpan sebagai data blok. Data blok ini mempunyai panjang yang sama dan meskipun panjangnya bervariasi diantara EXT2 file sistem, besar blok tersebut ditentukan pada saat file sistem dibuat dengan perintah mk2fs. Jika besar blok adalah 1024 bytes, maka file dengan besar 1025 bytes akan memakai 2 blok. Ini berarti kita membuang setengah blok per file.

EXT2 mendefinisikan topologi file sistem dengan memberikan arti bahwa setiap file pada sistem diasosiasiakan dengan struktur data inode. Sebuah inode menunjukkan blok mana dalam suatu file tentang hak akses setiap file, waktu modifikasi file, dan tipe file. Setiap file dalam EXT2 file sistem terdiri dari inode tunggal dan setiap inode mempunyai nomor identifikasi yang unik. Inode-inode file sistem disimpan dalam tabel inode. Direktori dalam EXT2 file sistem adalah file khusus yang mengandung pointer ke inode masing-masing isi direktori tersebut.

EXT3

EXT3 adalah peningkatan dari EXT2 file sistem. Peningkatan ini memiliki beberapa keuntungan, diantaranya:

1. Setelah kegagalan sumber daya, �unclean shutdown�, atau kerusakan sistem, EXT2 file sistem harus melalui proses pengecekan dengan program e2fsck.
2. Integritas data. EXT3 menjamin adanya integritas data setelah terjadi kerusakan atau �unclean shutdown�. EXT3 memungkinkan kita memilih jenis dan tipe proteksi dari data.
3. Kecepatan. Daripada menulis data lebih dari sekali, EXT3 mempunyai throughput yang lebih besar daripada EXT2 karena EXT3 memaksimalkan pergerakan head hard disk. Kita bisa memilih tiga jurnal mode untuk memaksimalkan kecepatan, tetapi integritas data tidak terjamin.
4. Mudah dilakukan migrasi. Kita dapat berpindah dari EXT2 ke sistem EXT3 tanpa melakukan format ulang.

Reiser FS

Reiser file sistem memiliki jurnal yang cepat. Ciri-cirinya mirip EXT3 file sistem. Reiser file sistem dibuat berdasarkan balance tree yang cepat. Balance tree unggul dalam hal kinerja, dengan algoritma yang lebih rumit tentunya.

Reiser file sistem lebih efisien dalam pemanfaatan ruang disk. Jika kita menulis file 100 bytes, hanya ditempatkan dalam satu blok. File sistem lain menempatkannya dalam 100 blok. Reiser file sistem tidak memiliki pengalokasian yang tetap untuk inode. Resier file sistem dapat menghemat disk sampai dengan 6 persen.

Beberapa keuntungan dan kelebihan yang bisa kita dapatkan dengan menggunakan file system ReiserFS:

1. Secara umum mempunyai kinerja yang lebih tinggi di semua ukuran file (file size).
2. Mengurangi ruang harddisk yang terbuang percuma, tidak ada alokasi inode yang statik, file-file yang kecil dipaket bersama dengan file kecil yang lain.
3. Kinerja yang lebih tinggi untuk direktori yang banyak (contohnya direktori queue qmail dan web cache squid), bahkan jika dibandingkan dengan JFS yang lain.

Kekurangan yang ada pada filesystem reiserfs ini adalah belum sempurna jika dipasang di partisi / atau /boot (karena LILO � Linux Loader tidak sepenuhnya mendukung filesystem ini) dan yang kedua adalah belum mendukung sistem quota user. Jadi sementara terapkan reiserfs ini untuk partisi /usr, /var dan partisi lain yang tidak perlu feature quota user.
User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Re: Jika Cache Dir Squid Hampir Penuh

Postby Rh354 » 06 Dec 2010, 17:46

sipelaut wrote:
ninja wrote:jelasin perbedaan dari ketiga jenis HDD itu dunk mastah.

kalo ane perhatiin emank ketiga faktor tersebut sangat berpengaruh sama perform squid, contohnya ane buat partisi /cache di /dev/sda1 (primary, reiserfs) sama di /dev/sda6 (logical, EXT3) dari kedua partisi tsb squid akan terasa lebih powerfull di /dev/sda1 :)

tanyak soal noatime/notail broo.. mudah2an tidak OOT saya nichh
perubahan yg harus dirubah itu dibagian mananya broo...
berikut file fstab di salah satu server kantor
================================
proc /proc proc defaults 0 0
# /dev/sda1
UUID=eded73d9-99b2-4567-8cf2-8170d6db6286 / reiserfs relatime 0 1
# /dev/sda2
UUID=7fb2b77f-3251-47a6-af7e-56f59f01f865 /boot reiserfs notail,relatime 0 2
# /dev/sda12
UUID=8f9c83ab-2b2d-4799-932b-5007d007d65b /home reiserfs relatime 0 2
# /dev/sda13
UUID=a7a9c32d-13ea-4dd7-9267-94e89880654d /opt reiserfs relatime 0 2
# /dev/sda5
UUID=d99f49c2-5013-43cd-8dc9-34e922fb5247 /proxy1 reiserfs relatime 0 2
# /dev/sda6
UUID=0015e95c-cf10-44a7-be3b-25903def9972 /proxy2 reiserfs relatime 0 2
# /dev/sda7
UUID=490668a7-0549-45d9-86b5-bec99879bc71 /proxy3 reiserfs relatime 0 2
# /dev/sda8
UUID=81d410a1-f610-445c-9b56-2d9c45439768 /proxy4 reiserfs relatime 0 2
# /dev/sda10
UUID=d7974bf8-fcce-4225-9f96-3a42d824734f /proxy5 reiserfs relatime 0 2
# /dev/sda9
UUID=4f5830c8-0fb6-4a32-85f8-630a022ec22d /proxy6 reiserfs relatime 0 2
# /dev/sda11
UUID=463f25bc-455c-4d7c-8a34-3a4361e0145c /var reiserfs relatime 0 2
# /dev/sda3
UUID=84e13f5c-9c90-41ad-82c7-f1de8f5ba730 none swap sw 0 0
/dev/scd0 /media/cdrom0 udf,iso9660 user,noauto,exec,utf8 0 0
===========================
opsi yang harus diubah menjadi noatime/notai itu yang bagian mana???
apakah harus semuanya??
sebelumnya teng's. mudah2an saya tidak OOT nichh


yg reiser hanya untuk proxy aja yg di pake bro.. jadinya kek gini

Tampilkan
[php]proc /proc proc defaults 0 0
/dev/sda1 / reiserfs defaults 0 1
/dev/sda2 /boot reiserfs defaults 0 2
/dev/sda12 /home reiserfs defaults 0 2
/dev/sda13 /opt reiserfs defaults 0 2
/dev/sda5 /proxy1 reiserfs noatime,notail 0 2
/dev/sda6 /proxy2 reiserfs noatime,notail 0 2
/dev/sda7 /proxy3 reiserfs noatime,notail 0 2
/dev/sda8 /proxy4 reiserfs noatime,notail 0 2
/dev/sda10 /proxy5 reiserfs noatime,notail 0 2
/dev/sda9 /proxy6 reiserfs noatime,notail 0 2
/dev/sda11 /var reiserfs defaults 0 2
/dev/sda3 none swap sw 0 0
/dev/scd0 /media/cdrom0 udf,iso9660 user,noauto,exec,utf8 0 0[/php]


ini fstab gw klo dislackware gw

Tampilkan
[php]/dev/sda1 / ext4 noatime,barrier=0 1 1
/dev/sda2 swap swap defaults 0 0
/dev/sda5 /cache reiserfs noatime,notail 1 2
/dev/sda6 /home ext4 noatime,barrier=0 1 2
#/dev/cdrom /mnt/cdrom auto noauto,owner,ro 0 0
#/dev/fd0 /mnt/floppy auto noauto,owner 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
proc /proc proc defaults 0 0
tmpfs /dev/shm tmpfs defaults 0 0
[/php]

Return to “Ubuntu Server”

Who is online

Users browsing this forum: No registered users and 6 guests