Jika Cache Dir Squid Hampir Penuh

Diskusi tentang Ubuntu Server baik webserver, database server, samba server dan service lainnya serta jaringan menggunakan Sistem Operasi Ubuntu.
Post Reply
User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Jika Cache Dir Squid Hampir Penuh

Post by MasDjo » 03 Dec 2010, 15:40

Ada pertanyaan yg cukup mengganjal nih,
[size:14pt][color:#3333FF]Apa yang harus kita lakukan jika cache-disk squid sudah penuh atau hampir penuh ?
[/color][/size]
1. Apakah kita harus mengosongkan cache dir tsb ?
2. Ataukah biarkan saja dan mekanisme squid yg akan mengaturnya, dimana cache yg lama akan digantikan dg yg baru.

Bila kita mengambil langkah no 2, apakah tidak ada pengaruhnya thd performa squid kita, misal akses internet menjadi lebih lambat, dsb.

Mohon masukan dari rekan2 para warga Forum Ubuntu Indonesia, terutama para mastah squid atau yg sudah berpengalaman dlm per-squid-an :grin:
Karena saya sudah beberapa kali mengalami full disk cache, maklum ukuran kecil (hanya 12 MB) dan langkah yg saya ambil selama ini adalah mengosongkan cache, karena kok saya "merasa" internetnya jadi rada lelet :(
Terimakasih sebelumnya :)


User avatar
ninja
Posts: 2260
Joined: 27 Jan 2010, 16:23
Location: Tangerang, Banten, indonesia
Contact:

Post by ninja » 03 Dec 2010, 16:39

wew kecil amat masdjo cache dir nya? :grin:
punya ane 7 GB yang dipake di squid.confnya cuma 6 GB biar nantinya engga bingung tuh squid kalo seandainya penuh, tapi selama ini engga pernah ampe Full...
kalo ane ngalamin Full kayak gitu udah pasti tak squid -z aja :D


User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Post by MasDjo » 03 Dec 2010, 18:16

Iya sih bro Ninja, harddisknya hanya 20 GB, utk partisi cache 15 GB & 12 GB (80 %) utk cache squid.
Selama ini memang gitu ( pake squid -z), cuma masalahnya apakah itu perlu dan lagi sayang juga hasil caching beberapa bulan di ZAP :)


User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Post by Rh354 » 04 Dec 2010, 03:52

MasDjo wrote:Iya sih bro Ninja, harddisknya hanya 20 GB, utk partisi cache 15 GB & 12 GB (80 %) utk cache squid.
Selama ini memang gitu ( pake squid -z), cuma masalahnya apakah itu perlu dan lagi sayang juga hasil caching beberapa bulan di ZAP :)
mainkan refresh pattern :D otomatis squid akan mendelete suatu konten apabila konten itu telah expired..


User avatar
ninja
Posts: 2260
Joined: 27 Jan 2010, 16:23
Location: Tangerang, Banten, indonesia
Contact:

Post by ninja » 04 Dec 2010, 06:11

Rh354 wrote:
MasDjo wrote:Iya sih bro Ninja, harddisknya hanya 20 GB, utk partisi cache 15 GB & 12 GB (80 %) utk cache squid.
Selama ini memang gitu ( pake squid -z), cuma masalahnya apakah itu perlu dan lagi sayang juga hasil caching beberapa bulan di ZAP :)
mainkan refresh pattern :D otomatis squid akan mendelete suatu konten apabila konten itu telah expired..
ilmu refresh pattern nya belom diturunin mastah :shocked:
di tunggu deh di posting dimari, masdjo juga nunggu tuh bro rhes :grin:


User avatar
sipelaut
Posts: 1965
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Post by sipelaut » 04 Dec 2010, 07:45

nah ini dia refresh pattern
selama ini aku pasang di squid, cuman belum tau apa kegunaannya...
karena hanya copy paste aja dari beberapa situss...
klo bro Rh354 berkenan dan bersedia menulisnya asikk tuchh
biar kita2 sekalian ngerti apa itu refresh pattern biar gak asal copy paste dari situs heeeeeeee..............


User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Post by MasDjo » 04 Dec 2010, 10:58

ninja wrote:ilmu refresh pattern nya belom diturunin mastah :shocked:
di tunggu deh di posting dimari, masdjo juga nunggu tuh bro rhes :grin:
Betul betul betul..... :ngarep banget: :malu: :grin:

Sekalian sama posisi watermark (kalo gak salah :grin: ) atas - bawah yg optimal bagaimana ( cache_swap_low / high )


User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Post by Rh354 » 04 Dec 2010, 13:03

asik belajar....nyok qta belajar lg :D

Code: Select all

# TAG: refresh_pattern
# usage: refresh_pattern [-i] regex min percent max [options]
# contoh:
refresh_pattern . 0 20% 4320

# Basically a cached object is:
#
# FRESH if expires < now, else STALE
# STALE if age > max
# FRESH if lm-factor < percent, else STALE
# FRESH if age < min
# else STALE
Mekanisme umum akses internet via web browser utk menguji validitas ('freshness') obyek yg tersimpan adl dg 'menjenguk' obyek tsb ke server asal/sumber dan membandingkannya dg obyek yg sama yg sudah tersimpan di lokal. Jadi memang 'boros' walaupun belum tentu setiap saat obyek tersebut diambil lho, jadi hanya sekedar di'tanyai' saja 'tgl lahirnya' (dan ada beberapa info yg lain yg penting juga, tapi kita fokus di 'umur'nya saja). Dg demikian saran utk teman-teman yg mengelola warnet adl dg memperbesar cache lokal web browser (internet temporary files-nya utk IE dan tidak salah default-nya 10% dari ukuran partisinya ya?). Kenapa kok 'umur' obyek (atau halaman web) diuji? Ya kira2 jawabannya supaya informasinya selalu yg terbaru dan tidak salah (kalau tidak mau yg terbaru dan selalu hanya mengakses yg sudah tersimpan di lokal cache web browser ya di-set saja mode 'offline, dijamin akses akan sangat lebih cepat dan sangat hemat bandwidth, tapi dg konsekuensi ekstrim spt halaman tsb di server sudah dihapus, di sisi klien bakalan tidak tahu lho). Kepingin mjd 'super boros' dg asumsi tanpa Squid atau cache server (bukan lokal cache lho)? ya cache di web browser dimatikan saja shg setiap saat akses internet akan selalu mengambil obyek/halaman langsung dari server asal/sumbernya (tapi irit tempat di hardisk lokal, hanya ini keuntungannya). Jelas dari sisi latensi akan naik drastis. Kira2 sudah bisa dibayangkan ya? hi hi hi ... (makanya beberapa ISP secara diam2 akan men'transparan'kan cache server dg maksud mau membantu ekstrimis yg 'super boros' ini tadi, he he he ... apa hanya sekedar alasan buat mereka menghemat bw ya?)

Baik skrg masuk peran Squid yg pada dasarnya bersifat 'shared' obyek lokal dalam konteks 1 domain. Secara garis besar mekanisme kerjanya mirip dg 'temporary cache' lokal web browser itu tadi cuma bedanya dipakai bersama dg user yg lain. Yg membedakan dalam kaitannya dg refresh_pattern adl Squid tidak tidak akan 'bertanya' validitas obyek jika ternyata 'umur'nya masih dalam durasi refresh_pattern-nya (default minimum Squid 120 menit atau 2 jam, kalau tidak salah). Jadi jika 'umur' obyek sejak di'lahir'kan belum mencapai 2 jam (utk contoh) maka Squid tidak akan mengakses server asal/sumber utk mengambil info 'umur'nya, dg kata lain obyek akan dianggap masih valid selama durasi waktu tadi (2 jam, misalnya), alias penghematan bw dan peningkatan responsivitas akses.

Kerugian jika refresh_pattern minimum (min) terlalu lama, misalnya kita set 1 hari, jelas jika ternyata dalam waktu kurang dari 1 hari obyek di ujung server asal berubah, di sisi klien dan Squid-nya masih akan tetap dianggap valid, atau dg kata lain, informasinya salah/tidak akurat, lha halaman web-nya memang tidak sama dg yg di server. Bagi web desainer, contoh saja lho tanpa ada masuk diskriminasi, he he he ... akan tidak suka krn ada kebutuhan 'instan' setiap kali mengubah atau memperbaiki halaman web di ujung server utk keperluan evaluasi (ya jelas tidak akan mau menunggu 1 hari utk melihat perubahannya, ha ha ha ... benar ya?). Jadi intinya min refresh_pattern adalah keterangan kapan waktu 'tersegera' utk menguji validitas obyek. Jika obyek teruji masih valid, Squid akan mengambil dari lokal cache swap-nya, jika obyek sudah tidak valid ya jelas Squid akan mengambil obyek dari server asal. Sekarang masalahnya, bagaimana jika obyek tidak memiliki 'umur' atau info 'tgl lahir'? (tidak semua web itu memiliki info ini lho, tergantung si web programernya).

Kapan menguji atau mengambil langsung dari server asal obyek 'tak berumur' ini, toh validitasnya tidak bisa diuji? Persentase dan nilai maksimum-lah yg akan menentukan (percentage max). Obyek tanpa umur ini tadi akan dianggap valid oleh Squid selama umur minimumnya 50% dari umur maksimumnya, misalnya. Utk contoh 50% 120 akan berarti obyek tanpa umur valid selama 'umur'nya masih kurang dari 1 jam (50% dari 120 menit). Menurut pengalaman perubahan obyek2 HTTP di internet itu relatif 'lamban', maka kebiasaan gw pribadi demi Squid yg 'agresif' adalah antara 80% s/d 95% dg nilai maksimum hingga 1 bulan (berapa menit ya, sori lupa) dan utk FTP krn semakin jarang berubah bisa lebih lama lagi bisa hingga 3 bulan atau 6 bulan. Tentunya ini tergantung profil pengguna internet anda lho, hanya contoh ekstrim saja. Jadi saat 'umum' maksimum yg sudah didefinisikan di refresh_pattern tercapai, jelas Squid akan 'menjenguk' obyek tsb ke asal servernya. Dg asumsi obyek masih sama maka Squid akan mengambil dari loka cache swap-nya. Jika ternyata obyek sudah berbeda, misalnya dari ukuran file atau saat file obyek tsb berbeda, maka Squid akan mengambil dari server tsb.

Opsi override-lastmod dan reload-into-ims kepanjangannya adalah 'override last modification' dan 'reload into if-modified-since'. Override-lastmod akan meng'override' perubahan yg terjadi di server asal obyek dg mengabaikan validitasnya hingga minimum refresh_pattern-nya tercapai. Efeknya obyek di lokal Squid bisa berbeda dg obyek yg di server asal. Tapi opsi ini masih mengijinkan si user 'memaksa' menguji validitasnya dg menekan tomboh 'reload' atau 'refresh' di web browser. Opsi ini, kalau gw memandangnya 'agak menipu sedikit', he he he ... Sbg contoh di atas, gw yakin obyek di ujung server sudah berubah walaupun terakhir gw akses baru 10 menit yg lalu (min refresh_pattern=120 menit, misalnya), maka dg menekan tombol 'reload' di browser gw akan bisa menguji validitas obyek tsb dg yg di server asal, dan jika ternyata ya benar obyek tsb sudah berubah, jelas Squid akan langsung mengambil obyek lebih baru dari server asal. Jika gw biarkan saja akses ke obyek tsb tanpa menekan tombol 'reload' di browser maka mekanisme uji validitas mempergunakan min refresh_pattern akan berlaku biasa.

Opsi reload-into-ims akan mengubah atau memodifikasi 'umur' obyek sehingga seakan-akan 'dilahirkan' kembali atau 'direset'. Misalnya gw pernah mengakses suatu obyek suatu obyek 1,5 jam yg lalu, dan gw akses lagi obyek yg sama sekarang, maka 'umur' obyek yg sama ini akan dianggap 'fresh' atau obyek baru dan sudah tidak berumur 1,5 jam yg lalu. Keuntungan opsi ini adalah mekanisme 'penyegaran' umur obyek populer sehingga tidak pernah mjd 'tua' hingga nilai percentage dan maksimumnya tercapai, sekali lagi 'agak menipu', he he he ... Kendali penuh tetap di user utk menekan tombol 'reload' atau 'refresh' jika tidak yakin obyek 'fresh'.


User avatar
sipelaut
Posts: 1965
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Post by sipelaut » 04 Dec 2010, 13:27

nanyak mas, nanyak yg dasar2 dolo nichh, sebagian lagi nanti nyusul :)
1. apa jadinya bila squid tidak dipasangi refresh_pattern??, apakah semua web akan di simpen oleh squid.


User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Post by Rh354 » 04 Dec 2010, 13:33

sipelaut wrote:nanyak mas, nanyak yg dasar2 dolo nichh, sebagian lagi nanti nyusul :)
1. apa jadinya bila squid tidak dipasangi refresh_pattern??, apakah semua web akan di simpen oleh squid.
default minimum Squid 120 menit atau 2 jam

artinya tetep mengcache..refresh pattern adalah proses ngakali :D


User avatar
lisnux
Posts: 1763
Joined: 02 Jan 2010, 16:26
Location: Samarinda
Contact:

Post by lisnux » 04 Dec 2010, 15:59

wew panjang banget .....
dicerna dulu pelan2 :grin:


User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Post by MasDjo » 04 Dec 2010, 16:06

Maaf nih bro Rh354, pengertian yg saya tangkap adl, refresh_pattern untuk 'validasi' suatu object yg tersimpan di cache lokal dg source nya, jadi objek yg 'direfresh' atau diganti adl objek yg sesuai saja.
lalu hubungannya :
mainkan refresh pattern :laugh: otomatis squid akan mendelete suatu konten apabila konten itu telah expired..
dg pertanyaan saya, jika disk cache sudah penuh, padahal ada objek baru yg akan akan dicache, lha ..objek tsb kan belum ada daftarnya, lalu akan diletakkan dimana cachenya ?
Lalu apa ada hubungan antara pasangan:
cache_swap_low & cache_swap_high dengan refresh_pattern ?
Squid.org
The low- and high-water marks for cache object replacement.
Replacement begins when the swap (disk) usage is above the
low-water mark and attempts to maintain utilization near the
low-water mark. As swap utilization gets close to high-water
mark object eviction becomes more aggressive. If utilization is
close to the low-water mark less replacement is done each time.

Defaults are 90% and 95%. If you have a large cache, 5% could be
hundreds of MB. If this is the case you may wish to set these
numbers closer together.


User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Post by Rh354 » 04 Dec 2010, 23:49

buat yg pusing sama refresh pattern ini gw jelasin secara simpel
=================================

Refresh_pattern itu sebenarnya buat ngukur seberapa lama sih object itu tersimpan di cache squid kita, krg lebih artinya umur objectnya gitu deh, krn pada dasarnya beberapa object kadang selalu terupdate di server websitenya.
Umumnya penulisan refresh_pattern tercantum min percent max (sprti: 720 100% 4320), tentunya ada opsi2 lain dibelakangnya. min dan max itu nilainya menit. Min itu batas minimum object harus direfresh (diupdate dr server), sedangkan max itu batas maximal object harus direfresh, kalo persennya itu utk perhitungan jika umur object berada di antara min dan max.
Jadi bgini, swaktu kita akan merequest atau membuka kembali sbuah object yg sudah tersimpan di cache, maka squid akan menilai umur object berdasarkan refresh patternnya.
kalo umur object masih berada di bawah nilai min, maka object itu dianggap masih bs dipake kembali tanpa perlu ngecek ke server. Artinya, 'ah.. ni object masih seger lah baru td disimpen kok, gak usah ngecek ke server websitenya deh, ambil aja langsung trus tempel di halaman web'.
Tp klo umur object berada di atas nilai max, maka squid akan melakukan pengecekan ke server dan meminta object agar diupdate (refresh).
Nah, bagaimana kalo object yg sedang diminta itu umurnya berada di antara min dan max. Di sinilah nilai persentase itu dipake, persentase itu maksudnya adalah persentase umur object di cache dibandingkan dengan umur object di servernya. tp gmn njelasinnya ya, pke contoh aja yak:

ada sebuah objek, refresh_pattern nya 20 75% 300

object ini dibikin di servernya jam 1:00
object pertama kali direquest dan tersimpan dalam cache jam 1:30
object direquest kembali jam 1:45

Nah brarti umur object di cachenya adlh 15 mnit (1:45-1:30)
squid blm bs menentukan object ini kadaluarsa apa blm krn berada di antara batas min (10) dan max (300). Nah kali ini pake persentase, jd perhitungannya ya hrs pake persen jg (bkn menit).

mari kita hitung persentase umur object:
umur object di cache: 15 menit (1:45-1:30)
umur object di server: 45 menit (1:45-1:30)
brarti persennya: 15/45 = 33%

Kesimpulannya, object dianggap masih fresh krn masih berada di bawah 75%.

=============================

cache swap low

Code: Select all

This directive, along with cache_swap_high controls the replacement of objects stored on disk.
It is a percentage of the maximum cache size, which comes from the sum of all cache_dir sizes.
penjelasan panjangnya

The cache_swap_low and cache_swap_high directives control the replacement of objects stored
on disk. Their values are a percentage of the maximum cache size, which comes from the sum
of all cache_dir sizes. For example:
cache_swap_low 90
cache_swap_high 95
As long as the total disk usage is below cache_swap_low, Squid doesn't remove cached objects.
As the cache size increases, Squid becomes more aggressive about removing objects. Under
steady-state conditions, you should find that disk usage stays relatively close to the
cache_swap_low value. You can see the current disk usage by requesting the storedir page
from the cache manager

===============indonesianya===========
Cache_swap_low/high jumlah (dalam persen)
Squid akan menghapus object yang ada didalam hardisknya jika media tersebut mulai penuh. Ukuran penuh ini yang diset pada cache_swap_low dan cache_swap_high. Bila batas swap_low telah tercapai maka squid mulai menghapus dan jika batas swap_high tercapai maka squid akan semakin sering menghapus.


User avatar
ninja
Posts: 2260
Joined: 27 Jan 2010, 16:23
Location: Tangerang, Banten, indonesia
Contact:

Post by ninja » 05 Dec 2010, 00:26

hmmmm....
penjelsannya lengkap banget :grin:
perlu dicerna dulu biar paham


User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Post by MasDjo » 05 Dec 2010, 14:52

refresh_pattern :
objek cache objek server/source
==> jika kadaluarsa diupdate
Hasil : objek cache akan selalu update, tetapi tidak memberi tambahan ruang kosong pd disk-cache.

cache_swap_low/high persen space cache disk yg terpakai
==> jika sampai batasnya, cache yg lama dihapus
Hasil : memberi ruang kosong untuk objek cache baru, shg squid tdk akan pernah kehabisan ruang cache.

Itu kesimpulan saya, moga2 gak salah :grin:

Mestinya dg 2 mekanisme di atas, kita tidak perlu repot2 'ngurusi' habis tidaknya cache squid karena sudah otomatis diatur oleh squid. :grin:

Tetapi 'perasaan" saya ketika cache hampir penuh kok internetnya terasa lebih lambat, apa memang begitu ya..? Atau karena spek hardware saya yg pas-pasan :
Spek = Pentium 3 733, RAM 320 MB, HDD ATA 5400 RPM 20 GB
Shg ketika ukuran swap semakin besar 'proses baca' jadi lebih lama :confused:
Dan ini kondisi swap saya sekarang :
Kondisi swap
squidclient mgr:storedir
HTTP/1.0 200 OK
Server: squid/2.7.STABLE9
Date: Sun, 05 Dec 2010 07:51:09 GMT
Content-Type: text/plain
Expires: Sun, 05 Dec 2010 07:51:09 GMT
X-Cache: MISS from dns.masdjo.net
X-Cache-Lookup: MISS from dns.masdjo.net:3128
Via: 1.0 dns.masdjo.net:3128 (squid/2.7.STABLE9)
Connection: close

Store Directory Statistics:
Store Entries : 619122
Maximum Swap Size : 12288000 KB
Current Store Swap Size: 11176988 KB
Current Capacity : 91% used, 9% free

Store Directory #0 (aufs): /proxy1
FS Block Size 4096 Bytes
First level subdirectories: 28
Second level subdirectories: 256
Maximum Size: 12288000 KB
Current Size: 11176988 KB
Percent Used: 90.96%
Current load metric: 100 / 1000
Filemap bits in use: 619025 of 1048576 (59%)
Filesystem Space in use: 11350208/15612940 KB (73%)
Filesystem Inodes in use: 624976/15623168 (4%)
Flags: SELECTED
Accepted object sizes: 0 - (unlimited) bytes
Removal policy: heap


User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Post by Rh354 » 05 Dec 2010, 14:59

MasDjo wrote:refresh_pattern :
objek cache objek server/source
==> jika kadaluarsa diupdate
Hasil : objek cache akan selalu update, tetapi tidak memberi tambahan ruang kosong pd disk-cache.

cache_swap_low/high persen space cache disk yg terpakai
==> jika sampai batasnya, cache yg lama dihapus
Hasil : memberi ruang kosong untuk objek cache baru, shg squid tdk akan pernah kehabisan ruang cache.

Itu kesimpulan saya, moga2 gak salah :grin:

Mestinya dg 2 mekanisme di atas, kita tidak perlu repot2 'ngurusi' habis tidaknya cache squid karena sudah otomatis diatur oleh squid. :grin:

Tetapi 'perasaan" saya ketika cache hampir penuh kok internetnya terasa lebih lambat, apa memang begitu ya..? Atau karena spek hardware saya yg pas-pasan :
Spek = Pentium 3 733, RAM 320 MB, HDD ATA 5400 RPM 20 GB
Shg ketika ukuran swap semakin besar 'proses baca' jadi lebih lama :confused:
Dan ini kondisi swap saya sekarang :
Kondisi swap
squidclient mgr:storedir
HTTP/1.0 200 OK
Server: squid/2.7.STABLE9
Date: Sun, 05 Dec 2010 07:51:09 GMT
Content-Type: text/plain
Expires: Sun, 05 Dec 2010 07:51:09 GMT
X-Cache: MISS from dns.masdjo.net
X-Cache-Lookup: MISS from dns.masdjo.net:3128
Via: 1.0 dns.masdjo.net:3128 (squid/2.7.STABLE9)
Connection: close

Store Directory Statistics:
Store Entries : 619122
Maximum Swap Size : 12288000 KB
Current Store Swap Size: 11176988 KB
Current Capacity : 91% used, 9% free

Store Directory #0 (aufs): /proxy1
FS Block Size 4096 Bytes
First level subdirectories: 28
Second level subdirectories: 256
Maximum Size: 12288000 KB
Current Size: 11176988 KB
Percent Used: 90.96%
Current load metric: 100 / 1000
Filemap bits in use: 619025 of 1048576 (59%)
Filesystem Space in use: 11350208/15612940 KB (73%)
Filesystem Inodes in use: 624976/15623168 (4%)
Flags: SELECTED
Accepted object sizes: 0 - (unlimited) bytes
Removal policy: heap
melambatnya itu bisa banyak faktor om...apakah bottleneck di HDD,resources yg dipake squid udah ga' ada lg dll :D

untuk suksesnya squid ada 3 FAKTOR yg diperhitungkan om :

1. Hardware
2. konfigurasi di squid.conf
3. user habit

:D

contoh harddisk ATA tentu akan berbeda hasil dengan SATA dan SATA dengan SCSI :D


User avatar
ninja
Posts: 2260
Joined: 27 Jan 2010, 16:23
Location: Tangerang, Banten, indonesia
Contact:

Post by ninja » 06 Dec 2010, 14:37

Rh354 wrote: contoh harddisk ATA tentu akan berbeda hasil dengan SATA dan SATA dengan SCSI :D
jelasin perbedaan dari ketiga jenis HDD itu dunk mastah.

kalo ane perhatiin emank ketiga faktor tersebut sangat berpengaruh sama perform squid, contohnya ane buat partisi /cache di /dev/sda1 (primary, reiserfs) sama di /dev/sda6 (logical, EXT3) dari kedua partisi tsb squid akan terasa lebih powerfull di /dev/sda1 :)


User avatar
sipelaut
Posts: 1965
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Post by sipelaut » 06 Dec 2010, 15:15

ninja wrote: jelasin perbedaan dari ketiga jenis HDD itu dunk mastah.

kalo ane perhatiin emank ketiga faktor tersebut sangat berpengaruh sama perform squid, contohnya ane buat partisi /cache di /dev/sda1 (primary, reiserfs) sama di /dev/sda6 (logical, EXT3) dari kedua partisi tsb squid akan terasa lebih powerfull di /dev/sda1 :)
tanyak soal noatime/notail broo.. mudah2an tidak OOT saya nichh
perubahan yg harus dirubah itu dibagian mananya broo...
berikut file fstab di salah satu server kantor
================================
proc /proc proc defaults 0 0
# /dev/sda1
UUID=eded73d9-99b2-4567-8cf2-8170d6db6286 / reiserfs relatime 0 1
# /dev/sda2
UUID=7fb2b77f-3251-47a6-af7e-56f59f01f865 /boot reiserfs notail,relatime 0 2
# /dev/sda12
UUID=8f9c83ab-2b2d-4799-932b-5007d007d65b /home reiserfs relatime 0 2
# /dev/sda13
UUID=a7a9c32d-13ea-4dd7-9267-94e89880654d /opt reiserfs relatime 0 2
# /dev/sda5
UUID=d99f49c2-5013-43cd-8dc9-34e922fb5247 /proxy1 reiserfs relatime 0 2
# /dev/sda6
UUID=0015e95c-cf10-44a7-be3b-25903def9972 /proxy2 reiserfs relatime 0 2
# /dev/sda7
UUID=490668a7-0549-45d9-86b5-bec99879bc71 /proxy3 reiserfs relatime 0 2
# /dev/sda8
UUID=81d410a1-f610-445c-9b56-2d9c45439768 /proxy4 reiserfs relatime 0 2
# /dev/sda10
UUID=d7974bf8-fcce-4225-9f96-3a42d824734f /proxy5 reiserfs relatime 0 2
# /dev/sda9
UUID=4f5830c8-0fb6-4a32-85f8-630a022ec22d /proxy6 reiserfs relatime 0 2
# /dev/sda11
UUID=463f25bc-455c-4d7c-8a34-3a4361e0145c /var reiserfs relatime 0 2
# /dev/sda3
UUID=84e13f5c-9c90-41ad-82c7-f1de8f5ba730 none swap sw 0 0
/dev/scd0 /media/cdrom0 udf,iso9660 user,noauto,exec,utf8 0 0
===========================
opsi yang harus diubah menjadi noatime/notai itu yang bagian mana???
apakah harus semuanya??
sebelumnya teng's. mudah2an saya tidak OOT nichh


User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Post by Rh354 » 06 Dec 2010, 17:42

ninja wrote:
Rh354 wrote: contoh harddisk ATA tentu akan berbeda hasil dengan SATA dan SATA dengan SCSI :D
jelasin perbedaan dari ketiga jenis HDD itu dunk mastah.

kalo ane perhatiin emank ketiga faktor tersebut sangat berpengaruh sama perform squid, contohnya ane buat partisi /cache di /dev/sda1 (primary, reiserfs) sama di /dev/sda6 (logical, EXT3) dari kedua partisi tsb squid akan terasa lebih powerfull di /dev/sda1 :)
ext3 ato reiserfs?! skrng sudah ext4, sebenernya untuk kecepatan baca lebih cepat ext3 ketimbang Reiserfs tetapi menurut pengamatan gw klo Reiserfs dia lebih cepat respon untuk mencari file yg berada difolder dan didalam folder lagi dan dalamnya lagi.
tp ini menurut pengamatan gw, klo salah yah dikoreksi.

masalah mengenai perbedaan HDD itu ada disini bro

Code: Select all

http://www.webopedia.com/DidYouKnow/Computer_Science/2007/sas_sata.asp

Code: Select all

http://www.pugetsystems.com/articles.php?id=19
masalah mengenai perbedaan file system ada bacaan dikit

[spoiler]1. ext2 Second Extended Filesystem- Old, reliable GNU/Linux filesystem. Very stable, but without journaling support. May be inconvenient for root (/) and /home, due to very long fsck�s. An ext2 filesystem can easily be converted to ext3. Generally regarded as a good choice for /boot/.
2. ext3 Third Extended Filesystem- Essentially the ext2 system, but with journaling support. ext3 is backward compatible with ext2. Extremely stable, mature, and by far the most widely used, supported and developed GNU/Linux FS.
3. ext4 Fourth Extended Filesystem- Backward compatible with ext2 and ext3. Introduces support for volumes with sizes up to 1 exabyte and files with sizes up to 16 terabytes. Increases the 32,000 subdirectory limit in ext3 to 64,000. Offers online defragmentation ability.
4. ReiserFS (V3)- Hans Reiser�s high-performance journaling FS uses a very interesting method of data throughput based on an unconventional and creative algorithm. ReiserFS is touted as very fast, especially when dealing with many small files. ReiserFS is fast at formatting, yet comparatively slow at mounting. Quite mature and stable. ReiserFS is not actively developed at this time (Reiser4 is the new Reiser filesystem). Generally regarded as a good choice for /var/.
5. JFS � IBM�s Journaled FileSystem- The first filesystem to offer journaling. JFS had many years of use in the IBM AIX� OS before being ported to GNU/Linux. JFS currently uses the least CPU resources of any GNU/Linux filesystem. Very fast at formatting, mounting and fsck�s, and very good all-around performance, especially in conjunction with the deadline I/O scheduler. (See JFS.) Not as widely supported as ext or ReiserFS, but very mature and stable.
6. XFS � Another early journaling filesystem originally developed by Silicon Graphics for the IRIX OS and ported to GNU/Linux. XFS offers very fast throughput on large files and large filesystems. Very fast at formatting and mounting. Generally benchmarked as slower with many small files, in comparison to other filesystems. XFS is very mature and offers online defragmentation ability.[/spoiler]

ini ada bacaan ttg benchmark nya

Code: Select all

http://www.gurulabs.com/archive/ext3-reiserfs/

Code: Select all

http://www.debian-administration.org/articles/388
[spoiler]Jenis file system :

EXT2

EXT2 adalah file sistem yang ampuh di linux. EXT2 juga merupakan salah satu file sistem yang paling ampuh dan menjadi dasar dari segala distribusi linux. Pada EXT2 file sistem, file data disimpan sebagai data blok. Data blok ini mempunyai panjang yang sama dan meskipun panjangnya bervariasi diantara EXT2 file sistem, besar blok tersebut ditentukan pada saat file sistem dibuat dengan perintah mk2fs. Jika besar blok adalah 1024 bytes, maka file dengan besar 1025 bytes akan memakai 2 blok. Ini berarti kita membuang setengah blok per file.

EXT2 mendefinisikan topologi file sistem dengan memberikan arti bahwa setiap file pada sistem diasosiasiakan dengan struktur data inode. Sebuah inode menunjukkan blok mana dalam suatu file tentang hak akses setiap file, waktu modifikasi file, dan tipe file. Setiap file dalam EXT2 file sistem terdiri dari inode tunggal dan setiap inode mempunyai nomor identifikasi yang unik. Inode-inode file sistem disimpan dalam tabel inode. Direktori dalam EXT2 file sistem adalah file khusus yang mengandung pointer ke inode masing-masing isi direktori tersebut.

EXT3

EXT3 adalah peningkatan dari EXT2 file sistem. Peningkatan ini memiliki beberapa keuntungan, diantaranya:

1. Setelah kegagalan sumber daya, �unclean shutdown�, atau kerusakan sistem, EXT2 file sistem harus melalui proses pengecekan dengan program e2fsck.
2. Integritas data. EXT3 menjamin adanya integritas data setelah terjadi kerusakan atau �unclean shutdown�. EXT3 memungkinkan kita memilih jenis dan tipe proteksi dari data.
3. Kecepatan. Daripada menulis data lebih dari sekali, EXT3 mempunyai throughput yang lebih besar daripada EXT2 karena EXT3 memaksimalkan pergerakan head hard disk. Kita bisa memilih tiga jurnal mode untuk memaksimalkan kecepatan, tetapi integritas data tidak terjamin.
4. Mudah dilakukan migrasi. Kita dapat berpindah dari EXT2 ke sistem EXT3 tanpa melakukan format ulang.

Reiser FS

Reiser file sistem memiliki jurnal yang cepat. Ciri-cirinya mirip EXT3 file sistem. Reiser file sistem dibuat berdasarkan balance tree yang cepat. Balance tree unggul dalam hal kinerja, dengan algoritma yang lebih rumit tentunya.

Reiser file sistem lebih efisien dalam pemanfaatan ruang disk. Jika kita menulis file 100 bytes, hanya ditempatkan dalam satu blok. File sistem lain menempatkannya dalam 100 blok. Reiser file sistem tidak memiliki pengalokasian yang tetap untuk inode. Resier file sistem dapat menghemat disk sampai dengan 6 persen.

Beberapa keuntungan dan kelebihan yang bisa kita dapatkan dengan menggunakan file system ReiserFS:

1. Secara umum mempunyai kinerja yang lebih tinggi di semua ukuran file (file size).
2. Mengurangi ruang harddisk yang terbuang percuma, tidak ada alokasi inode yang statik, file-file yang kecil dipaket bersama dengan file kecil yang lain.
3. Kinerja yang lebih tinggi untuk direktori yang banyak (contohnya direktori queue qmail dan web cache squid), bahkan jika dibandingkan dengan JFS yang lain.

Kekurangan yang ada pada filesystem reiserfs ini adalah belum sempurna jika dipasang di partisi / atau /boot (karena LILO � Linux Loader tidak sepenuhnya mendukung filesystem ini) dan yang kedua adalah belum mendukung sistem quota user. Jadi sementara terapkan reiserfs ini untuk partisi /usr, /var dan partisi lain yang tidak perlu feature quota user.[/spoiler]


User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Post by Rh354 » 06 Dec 2010, 17:46

sipelaut wrote:
ninja wrote: jelasin perbedaan dari ketiga jenis HDD itu dunk mastah.

kalo ane perhatiin emank ketiga faktor tersebut sangat berpengaruh sama perform squid, contohnya ane buat partisi /cache di /dev/sda1 (primary, reiserfs) sama di /dev/sda6 (logical, EXT3) dari kedua partisi tsb squid akan terasa lebih powerfull di /dev/sda1 :)
tanyak soal noatime/notail broo.. mudah2an tidak OOT saya nichh
perubahan yg harus dirubah itu dibagian mananya broo...
berikut file fstab di salah satu server kantor
================================
proc /proc proc defaults 0 0
# /dev/sda1
UUID=eded73d9-99b2-4567-8cf2-8170d6db6286 / reiserfs relatime 0 1
# /dev/sda2
UUID=7fb2b77f-3251-47a6-af7e-56f59f01f865 /boot reiserfs notail,relatime 0 2
# /dev/sda12
UUID=8f9c83ab-2b2d-4799-932b-5007d007d65b /home reiserfs relatime 0 2
# /dev/sda13
UUID=a7a9c32d-13ea-4dd7-9267-94e89880654d /opt reiserfs relatime 0 2
# /dev/sda5
UUID=d99f49c2-5013-43cd-8dc9-34e922fb5247 /proxy1 reiserfs relatime 0 2
# /dev/sda6
UUID=0015e95c-cf10-44a7-be3b-25903def9972 /proxy2 reiserfs relatime 0 2
# /dev/sda7
UUID=490668a7-0549-45d9-86b5-bec99879bc71 /proxy3 reiserfs relatime 0 2
# /dev/sda8
UUID=81d410a1-f610-445c-9b56-2d9c45439768 /proxy4 reiserfs relatime 0 2
# /dev/sda10
UUID=d7974bf8-fcce-4225-9f96-3a42d824734f /proxy5 reiserfs relatime 0 2
# /dev/sda9
UUID=4f5830c8-0fb6-4a32-85f8-630a022ec22d /proxy6 reiserfs relatime 0 2
# /dev/sda11
UUID=463f25bc-455c-4d7c-8a34-3a4361e0145c /var reiserfs relatime 0 2
# /dev/sda3
UUID=84e13f5c-9c90-41ad-82c7-f1de8f5ba730 none swap sw 0 0
/dev/scd0 /media/cdrom0 udf,iso9660 user,noauto,exec,utf8 0 0
===========================
opsi yang harus diubah menjadi noatime/notai itu yang bagian mana???
apakah harus semuanya??
sebelumnya teng's. mudah2an saya tidak OOT nichh
yg reiser hanya untuk proxy aja yg di pake bro.. jadinya kek gini

[spoiler][php]proc /proc proc defaults 0 0
/dev/sda1 / reiserfs defaults 0 1
/dev/sda2 /boot reiserfs defaults 0 2
/dev/sda12 /home reiserfs defaults 0 2
/dev/sda13 /opt reiserfs defaults 0 2
/dev/sda5 /proxy1 reiserfs noatime,notail 0 2
/dev/sda6 /proxy2 reiserfs noatime,notail 0 2
/dev/sda7 /proxy3 reiserfs noatime,notail 0 2
/dev/sda8 /proxy4 reiserfs noatime,notail 0 2
/dev/sda10 /proxy5 reiserfs noatime,notail 0 2
/dev/sda9 /proxy6 reiserfs noatime,notail 0 2
/dev/sda11 /var reiserfs defaults 0 2
/dev/sda3 none swap sw 0 0
/dev/scd0 /media/cdrom0 udf,iso9660 user,noauto,exec,utf8 0 0[/php][/spoiler]

ini fstab gw klo dislackware gw

[spoiler][php]/dev/sda1 / ext4 noatime,barrier=0 1 1
/dev/sda2 swap swap defaults 0 0
/dev/sda5 /cache reiserfs noatime,notail 1 2
/dev/sda6 /home ext4 noatime,barrier=0 1 2
#/dev/cdrom /mnt/cdrom auto noauto,owner,ro 0 0
#/dev/fd0 /mnt/floppy auto noauto,owner 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
proc /proc proc defaults 0 0
tmpfs /dev/shm tmpfs defaults 0 0
[/php][/spoiler]


User avatar
bulugading
Posts: 217
Joined: 09 Jan 2010, 13:23
Location: Jember, Jawa Timur
Contact:

Post by bulugading » 06 Dec 2010, 22:07

Kulonuwun broe sis semuanya, mohon berkenan memberikan wejangan terkait kebingungan saya ini, pertanyaanya sbb :

- bagaimana cara memforward proxy saya agar bisa akses internet (bagaimana melewatkan akses proxy ini, apabila melewati firewall) ..?
- mungkin ada syntaxt khusus di ubuntu server agar si proxy bisa bypass ke internet ..?
- berikut topology fixing/current di tempat saya ...
ini-topologi-saya-saat-ini
note:
- akses inet menggunakan isp i4te & akses data ke cabang menggunakan mpls telkom (vpn-ip)
- firewall cisco asa 5510 & switch sudah support layer-3
- ubuntu 10.10 server sudah saya installin squid 2
- topology ini oleh bos dak boleh di ganti2 lagi ..(hikhikhik)

matur nuwun untuk wejangannya.

wassalam


User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Post by MasDjo » 06 Dec 2010, 23:12

Wah...jadi tambah OOT nih.... :o
@bro bulugading, mending masuk ke topik lain atau jika tidak ada yg sesuai bikin topik baru saja, biar bahasan disini fokus dan gak rancu, ok...trim's :)


User avatar
bulugading
Posts: 217
Joined: 09 Jan 2010, 13:23
Location: Jember, Jawa Timur
Contact:

Post by bulugading » 06 Dec 2010, 23:33

Iya seh Broe, tapi karena topik ini berbau squid jadi kebingunganku aku cemplungin disini ... hee ...


User avatar
aptfast
Posts: 3847
Joined: 03 Jan 2010, 23:38
Location: Jakarta, Indonesia
Contact:

Post by aptfast » 07 Dec 2010, 02:45

ijin nyimak gan :D


User avatar
buby
Posts: 10
Joined: 16 Jul 2010, 17:58
Location: magelang wonosobo jateng
Contact:

Post by buby » 09 Dec 2010, 00:08

iptables -A PREROUTING -t nat -i eth0 -p tcp -s 10.1.0.0/24 -d ! 10.1.0.1 --dport 80 -j REDIRECT --to 3128


eth0=interface yang akan kita redirecting ke proxy,,,,
3128=port proxy anda


User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Post by MasDjo » 09 Dec 2010, 15:46

@buby: ini ditujukan buat siapa ya, kok gak nyambung :confused:

Kembali ke topik, jadi jika cache-squid sudah penuh apa langkah terbaiknya, apa kita kosongkan lagi cachenya atau dibiarkan saja dg resiko mungkin jadi menurun performanya ?

Dan ada satu hal lagi nih, dari hasil caching selama ini ternyata didapatkan : (dg squidclient mgr:info)

Code: Select all

Mean Object Size:	   18.11 KB
Dari hasil tsb, apa perlu diseting lagi aturan pd cache_dir, yg semula dihitung dg rumus dg basis mean = 13 KB
dari semula : cache_dir aufs 12000 28 256
menjadi : cache_dir aufs 12000 20 256


User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Post by Rh354 » 09 Dec 2010, 17:48

MasDjo wrote:@buby: ini ditujukan buat siapa ya, kok gak nyambung :confused:

Kembali ke topik, jadi jika cache-squid sudah penuh apa langkah terbaiknya, apa kita kosongkan lagi cachenya atau dibiarkan saja dg resiko mungkin jadi menurun performanya ?

Dan ada satu hal lagi nih, dari hasil caching selama ini ternyata didapatkan : (dg squidclient mgr:info)

Code: Select all

Mean Object Size:	   18.11 KB
Dari hasil tsb, apa perlu diseting lagi aturan pd cache_dir, yg semula dihitung dg rumus dg basis mean = 13 KB
dari semula : cache_dir aufs 12000 28 256
menjadi : cache_dir aufs 12000 20 256
silahkan aja bro...terus sesuaikan di squid.conf nya jg

Code: Select all

store_avg_object_size 18 KB
karena secara default adalah 13 KB


User avatar
sipelaut
Posts: 1965
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Post by sipelaut » 18 Dec 2010, 12:17

MasDjo wrote: Dan ini kondisi swap saya sekarang :
Kondisi swap
squidclient mgr:storedir
HTTP/1.0 200 OK
Server: squid/2.7.STABLE9
Date: Sun, 05 Dec 2010 07:51:09 GMT
Content-Type: text/plain
Expires: Sun, 05 Dec 2010 07:51:09 GMT
X-Cache: MISS from dns.masdjo.net
X-Cache-Lookup: MISS from dns.masdjo.net:3128
Via: 1.0 dns.masdjo.net:3128 (squid/2.7.STABLE9)
Connection: close

Store Directory Statistics:
Store Entries : 619122
Maximum Swap Size : 12288000 KB
Current Store Swap Size: 11176988 KB
Current Capacity : 91% used, 9% free

Store Directory #0 (aufs): /proxy1
FS Block Size 4096 Bytes
First level subdirectories: 28
Second level subdirectories: 256
Maximum Size: 12288000 KB
Current Size: 11176988 KB
Percent Used: 90.96%
Current load metric: 100 / 1000
Filemap bits in use: 619025 of 1048576 (59%)
Filesystem Space in use: 11350208/15612940 KB (73%)
Filesystem Inodes in use: 624976/15623168 (4%)
Flags: SELECTED
Accepted object sizes: 0 - (unlimited) bytes
Removal policy: heap
wahhh tretnya dh hampir ditinggalin nichh...
soalnya bru bisa on nichhh
MasDjo yang gantengg... :grin:
cara nampilin squidclient ini gimana yaa...
mudah2an saya gak OOT


User avatar
zitux
Posts: 843
Joined: 15 Jan 2010, 23:17
Location: Malang Jatim Indonesia
Contact:

Post by zitux » 18 Dec 2010, 19:38

:grin:


User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Post by Rh354 » 19 Dec 2010, 19:18

sipelaut wrote:
MasDjo wrote: Dan ini kondisi swap saya sekarang :
Kondisi swap
squidclient mgr:storedir
HTTP/1.0 200 OK
Server: squid/2.7.STABLE9
Date: Sun, 05 Dec 2010 07:51:09 GMT
Content-Type: text/plain
Expires: Sun, 05 Dec 2010 07:51:09 GMT
X-Cache: MISS from dns.masdjo.net
X-Cache-Lookup: MISS from dns.masdjo.net:3128
Via: 1.0 dns.masdjo.net:3128 (squid/2.7.STABLE9)
Connection: close

Store Directory Statistics:
Store Entries : 619122
Maximum Swap Size : 12288000 KB
Current Store Swap Size: 11176988 KB
Current Capacity : 91% used, 9% free

Store Directory #0 (aufs): /proxy1
FS Block Size 4096 Bytes
First level subdirectories: 28
Second level subdirectories: 256
Maximum Size: 12288000 KB
Current Size: 11176988 KB
Percent Used: 90.96%
Current load metric: 100 / 1000
Filemap bits in use: 619025 of 1048576 (59%)
Filesystem Space in use: 11350208/15612940 KB (73%)
Filesystem Inodes in use: 624976/15623168 (4%)
Flags: SELECTED
Accepted object sizes: 0 - (unlimited) bytes
Removal policy: heap
wahhh tretnya dh hampir ditinggalin nichh...
soalnya bru bisa on nichhh
MasDjo yang gantengg... :grin:
cara nampilin squidclient ini gimana yaa...
mudah2an saya gak OOT


squidclient mgr:menu
squidclient mgr:store_digest
squidclient mgr:refresh
squidclient -h peer mgr:store_digest
squidclient mgr:info


User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Post by MasDjo » 20 Dec 2010, 09:53

@sipelaut : makasih sudah dibilang ganteng ( untung bukan dibilang cantik ) :grin: :grin:
Di situ kan juga ada commandnya : squidclient mgr:storedir

Trimakasih juga utk bro Rh354 atas penjelasannya
Memang belum ada jawaban pasti atas pertanyaan yg saya ajukan jika cache dir squid mulai penuh, apakah dikosongkan lagi atau dibiarkan saja biar mekanisme squid yg mengatur :confused:


User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Post by Rh354 » 20 Dec 2010, 11:24

MasDjo wrote:@sipelaut : makasih sudah dibilang ganteng ( untung bukan dibilang cantik ) :grin: :grin:
Di situ kan juga ada commandnya : squidclient mgr:storedir

Trimakasih juga utk bro Rh354 atas penjelasannya
Memang belum ada jawaban pasti atas pertanyaan yg saya ajukan jika cache dir squid mulai penuh, apakah dikosongkan lagi atau dibiarkan saja biar mekanisme squid yg mengatur :confused:
dibiarkan saja squid yg mengatur semuanya om :D


User avatar
zitux
Posts: 843
Joined: 15 Jan 2010, 23:17
Location: Malang Jatim Indonesia
Contact:

Post by zitux » 22 Dec 2010, 18:22

tp masdjoe yg harus ngatur squid nya :grin:

mungkin diskusi ini hampir mirip dgn masalah masdjoe
http://opensource.telkomspeedy.com/foru ... 10303&p=11


User avatar
BroKhudel
Posts: 3
Joined: 13 Jun 2011, 13:22

Post by BroKhudel » 13 Jun 2011, 13:43

@masdjoe tau gk gmn cara mengetahui memory cache yang terpakai dan sisa memory yg blm trpakai????


User avatar
yudiarbi
Posts: 627
Joined: 22 Mar 2011, 09:31
Location: Probolinggo, Jawa Timur
Contact:

Post by yudiarbi » 13 Jun 2011, 15:08

sekedar sharing, memang lama2 si proxy ini penuh, pake df -lh aj ud cukup infonya partisi cachenya, jd saran saya, mending di awal mainin logrotatenya, jd secara periodik, si squid akan mengcompress log2 tersebut, sehingga tinggal kita buang saja, tetapi cache gak ilang lho...


User avatar
sipelaut
Posts: 1965
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Post by sipelaut » 14 Jun 2011, 11:43

alhamdulillah ternyata tret ini masih aktif juga


User avatar
suryayusra
Posts: 394
Joined: 05 May 2010, 15:54
Location: Palembang, Indonesia
Contact:

Post by suryayusra » 18 Jun 2011, 11:45

nambahin dikit kakak :D

biar cache rada diet dan efisien :) pake2 kata lebay gakpapa yah
bisa pake algoritma penghapusan cache

cache_replacement_policy

bisa diaktifin di squid, squid akan menghapus cache yang tidak terpakai.
sebenernya ada beberapa katagori penghapusan yang akan digunakan, diantaranya :

LRU : Squid's original list based LRU policy
heap GDSF : Greedy-Dual Size Frequency
heap LFUDA : Least Frequently Used with Dynamic Aging
heap LRU : LRU policy implemented using a heap

-squid akan menghapus cache yang tidak pernah digunakan
-squid akan menghapus cache yang hit nya rendah
- bla bla bla :D

tolong revisi klo salah, ini alternatif loh


User avatar
sipelaut
Posts: 1965
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Post by sipelaut » 18 Jun 2011, 14:17

suryayusra wrote:nambahin dikit kakak :D

biar cache rada diet dan efisien :) pake2 kata lebay gakpapa yah
bisa pake algoritma penghapusan cache

cache_replacement_policy

bisa diaktifin di squid, squid akan menghapus cache yang tidak terpakai.
sebenernya ada beberapa katagori penghapusan yang akan digunakan, diantaranya :

LRU : Squid's original list based LRU policy
heap GDSF : Greedy-Dual Size Frequency
heap LFUDA : Least Frequently Used with Dynamic Aging
heap LRU : LRU policy implemented using a heap

-squid akan menghapus cache yang tidak pernah digunakan
-squid akan menghapus cache yang hit nya rendah
- bla bla bla :D

tolong revisi klo salah, ini alternatif loh

ngonfignya gimana broo..

Code: Select all

LRU : Squid's original list based LRU policy
heap GDSF : Greedy-Dual Size Frequency
heap LFUDA : Least Frequently Used with Dynamic Aging
heap LRU : LRU policy implemented using a heap


User avatar
suryayusra
Posts: 394
Joined: 05 May 2010, 15:54
Location: Palembang, Indonesia
Contact:

Post by suryayusra » 20 Jun 2011, 11:14

konfignya gini, tambahin scrip cache_replacement_policy
contoh:

cache_replacement_policy LRU

save, restart proxy
itu optional, ada algoritma LRU, GDSF dan LFUDA
algoritma diatas akan menghapus berdasarkan gaya masing2.
contoh LFUDA akan menghapus cache yang tidak pernah diakses lg, atau cache yang hit-nya rendah. sedangkan cache yang hit tinggi(sering diakses) akan tetap dipertahankan.

sehingga ukuran cache lebih efisien, tul gak yah.
klo salah mohon di koreksi.


User avatar
sipelaut
Posts: 1965
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Post by sipelaut » 23 Jun 2011, 12:07

@suryayusra
oo.. jadi cuman tinggal nambahin opsi ini aja

Code: Select all

cache_replacement_policy LRU


User avatar
suryayusra
Posts: 394
Joined: 05 May 2010, 15:54
Location: Palembang, Indonesia
Contact:

Post by suryayusra » 25 Jun 2011, 13:10

@sipelaut : betul kang, seperti itu


User avatar
f4hr1z4
Posts: 4
Joined: 14 May 2011, 03:57

Post by f4hr1z4 » 26 Jun 2011, 04:58

aku juga menggalami Hal yang sama
ika Pertisi Proxy Penuh baiknya di apain yak? di hapus atau biarkan saja,
trus jika mau memasukan partisi baru dalam squid apakah lokasi partisi pertama di squid harus tetap ada atau di hilangkan
Contoh : Posisi Prartisi sudah penuh
cache_dir aufs /proxy/cache1 40000 94 256
cache_dir aufs /proxy/cache2 40000 94 256

Jika saya buat baru partisi harus seperti apa ?

cache_dir aufs /proxy/cache1 40000 94 256
cache_dir aufs /proxy/cache2 40000 94 256
cahce_dir aufs /var/cache3 4000 94 256
cache_dir aufs /var/cache4 4000 94 256

jika lokasi /proxy/cache1 dan 2 saya ganti dengan lokasi partisi yang baru apakah cache squid yg terdapat pada cache1 dan2 akan tetap mendistribusikan file yg sudah ada di cache tersebut.


User avatar
yudiarbi
Posts: 627
Joined: 22 Mar 2011, 09:31
Location: Probolinggo, Jawa Timur
Contact:

Post by yudiarbi » 26 Jun 2011, 09:10

kalo pake partisi baru dan dihilangkan di konfignya ya cache gak akan terdistribusi bro....
mending di mainkan logrotatenya biar bisa mengkompress otomatis cache squid tp cache nya gak ilang....


User avatar
sonor
Posts: 38
Joined: 20 Jun 2011, 16:22

Post by sonor » 26 Jun 2011, 14:52

ijin ikut nyimak... ;)


User avatar
MAX_J
Posts: 2
Joined: 09 Nov 2011, 21:38

Post by MAX_J » 09 Nov 2011, 22:22

Kena BGT we ama penjelasan mastah Rh354,,, selama ini taunya COPAS sana sini "Refresh_pattern" dari tetangga.
Trial n Error,,,
coba sana sini,,,
Error juga Sana Sini...

thanks bgt ilmunya...

Mo dicerna dulu,,, hihihi...


User avatar
axioto
Posts: 8
Joined: 29 Nov 2010, 16:22

Post by axioto » 09 Nov 2011, 23:05

Hello para master ubuntu,
Mau tanya ne,
saya punya hdd 80GB,saya mau install ubuntu untuk proxy...

Partisi nya apa2 aja yg perlu dibuat?


thank para master


User avatar
REM
Posts: 6
Joined: 30 Sep 2011, 21:02
Location: childgone

Post by REM » 11 Nov 2011, 11:22

Mantaps bro RH354..jadi jelas fungsi2 refresh_pattern..
tinggal di implementasi..

sukses bro RH354...

ijin menyimak mencerna mencoba...


User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Post by Rh354 » 05 Feb 2012, 13:34

f4hr1z4 wrote:aku juga menggalami Hal yang sama
ika Pertisi Proxy Penuh baiknya di apain yak? di hapus atau biarkan saja,
trus jika mau memasukan partisi baru dalam squid apakah lokasi partisi pertama di squid harus tetap ada atau di hilangkan
Contoh : Posisi Prartisi sudah penuh
cache_dir aufs /proxy/cache1 40000 94 256
cache_dir aufs /proxy/cache2 40000 94 256

Jika saya buat baru partisi harus seperti apa ?

cache_dir aufs /proxy/cache1 40000 94 256
cache_dir aufs /proxy/cache2 40000 94 256
cahce_dir aufs /var/cache3 4000 94 256
cache_dir aufs /var/cache4 4000 94 256

jika lokasi /proxy/cache1 dan 2 saya ganti dengan lokasi partisi yang baru apakah cache squid yg terdapat pada cache1 dan2 akan tetap mendistribusikan file yg sudah ada di cache tersebut.
seharusnya ga' usah dihapus, pastiin dl cache penuh apakah karena cache atau hal lain misal logfile yang dijadikan satu

itu bener yg pertama 40Gb yg kedua 4Gb cache dir nya

klo bener alangkah baiknya dipisahkan cache_dir 3 dan 4 dr /var lalu cache_dir 1 dan 2 jgn di dalam 1 HDD klo bisa :D

dan usahakan sesuai dengan kaidahnya cache_dir bro

http://indolini.org/2010/11/cache_dir-di-squid/

coba dibuat seperti ini

cache_dir aufs /cache1 40000 94 256
cache_dir aufs /cache2 40000 94 256
cahce_dir aufs /cache3 4000 10 256
cache_dir aufs /cache4 4000 10 256

dengan reiserfs atau brtfs

jika sudah manfaatkan opsi round robin biar merata

store_dir_select_algorithm round-robin

pengalaman gw sich ga' pernah penuh...padahal cm di set 1 Gb,klo log jadi 1 dengan cache silakan didisable aja untuk ningkatin performa
axioto wrote:Hello para master ubuntu,
Mau tanya ne,
saya punya hdd 80GB,saya mau install ubuntu untuk proxy...

Partisi nya apa2 aja yg perlu dibuat?


thank para master
nah ini yg bingung mo jawab apaan karena jujur tergantung user..

klo gw buat personal pasti seperti ini

/
/cache
swap
/home

klo server mungkin bisa buat seperti ini

/
/cache
swap


User avatar
yudiarbi
Posts: 627
Joined: 22 Mar 2011, 09:31
Location: Probolinggo, Jawa Timur
Contact:

Post by yudiarbi » 05 Feb 2012, 14:33

mainin aj logrotate.conf nya bro di /etc/logrotate.conf


User avatar
sipelaut
Posts: 1965
Joined: 03 Jan 2010, 17:25
Location: madura-sampang
Contact:

Post by sipelaut » 05 Feb 2012, 14:59

yudiarbi wrote:mainin aj logrotate.conf nya bro di /etc/logrotate.conf

fiuhh ane coba serchhh.. di google
dapetnya ini [0] sama ini [1]
cuman penjelasannya bahasa inggris semua
bisa dijelasin disini broo

[0] http://www.faqs.org/docs/securing/chap28sec234.html
[1] http://fixunix.com/squid/196069-squid-logrotate.html


User avatar
MasDjo
Posts: 1260
Joined: 03 Jan 2010, 17:38
Location: Bayuangga City
Contact:

Post by MasDjo » 05 Feb 2012, 15:12

Kalo gak salah, perintah manual utk me-rotate squid log adalah :

squid -k rotate


User avatar
yudiarbi
Posts: 627
Joined: 22 Mar 2011, 09:31
Location: Probolinggo, Jawa Timur
Contact:

Post by yudiarbi » 05 Feb 2012, 15:14

bener tuh kata masdjo, tp secara default si squid hanya merotate saja, tp file makin lama makin besar, oleh karena itu mainin aj logrotatenya, bisa per hari ato perminggu, jd hasil compress bisa kita buang sesuka kita


User avatar
Rh354
Posts: 718
Joined: 14 Mar 2010, 19:56
Location: between the truth and the lies
Contact:

Post by Rh354 » 16 Feb 2012, 13:06

fiuh udah lama ga' mainan squid di linux lg :D sekarang lg sibuk porting lusca ke windows :D


Post Reply

Who is online

Users browsing this forum: No registered users and 9 guests