[ASK] CARA BUAT FILE SERVER 100TB ?

Diskusi tentang Ubuntu Server baik webserver, database server, samba server dan service lainnya serta jaringan menggunakan Sistem Operasi Ubuntu.
User avatar
snowflake
Posts: 15
Joined: 22 Mar 2015, 18:18

[ASK] CARA BUAT FILE SERVER 100TB ?

Postby snowflake » 27 Dec 2015, 21:15

Selamat malam, semoga kebahagiaan selalau menyertai master-master semua..
master mohon di beri pencerahan untuk rencangan membuat file server dengan kapasitas 100TB, untuk koleksi data movie dan software pada warnet saya...
udah muter-muter di google tapi malah nambah bingung..
User avatar
sr_aja
Posts: 597
Joined: 10 Dec 2012, 11:21
Location: Jakarta

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby sr_aja » 28 Dec 2015, 16:27

hmm... saya mencoba memberikan imajinasi saya yak ;)
jika berbicara soal kapasitas penyimpanan; pada umumnya masalahnya ada pada storage servernya.

jika merujuk dari nilai storage yg di sebutkan; saya langsung terbayang blade server :D (kalau tangsi loe mampu sih, beli blade server ajah.. heheheh)
kalau ngak salah inget fujitsu juga ngeluarin super komputer yg mampu menjawab masalah storage << mohon maap kalau istilah superkomputernye salah.. soalnye dulu gw ngebayangin mesinnya kayak panel listrik di IDC hehehehe..

nahhh hardisk sata ketengan terbesar yg pernah saya temuin di indonesia itu hanya 4 TB dan ini berarti kita membutuhkan storage sebanyak 25 buah.

nahh pertanyaan selanjutnya adalah, adakah sebuah mainboard atau mesin yang memiliki konektor sata sebanyak 25? jika ada.. mungkin solusinya bisa menggunakan lvm atau mdadm (software raid) untuk menyatukan ke 25 buah hardisk tersebut.
[sekedar catatan, saya baru menemukan konektor sata maksimal 6 buah pada board gigabyte]

jika tidak ada.. mungkin model AoE (Ata Over Ethernet bisa jadi solusi lainnya) atau mungkin bisa melirik glusterfs (ohh iya.. koneksi jaringan harus sudah GIGAbit yak.. minimal infrastrukturnya cat6 kalau bisa malah koneksi jaringan menggunakan FO, mengingat transfer file antar storage sepertinya membutuhkan kecepatan yg wah.. karena berdasarkan kegunaannya untuk video streaming)

atau sekalian ajah nyemplung di openstack << kalau ini sih aye belon pernah nyicipin..

tapi kalau nyatuin storage sampai 14 TB udh pernah dan saat ini berjalan normal.

note;
file system ext4 kalau ngak salah nilai maksimalnya 2 TB, jika lebih dari 2 TB silahkan menggunakan gpt dan xfs << setidaknya ini yg pernah gw cobain.

kalau AoE baru terbayang di dunia khayalan saja.. :D tapi secara logika teknis ini bisa saja di lakukan.


selain khayalan2 gw di atas, mungkin bisa memainkan atau memecah2 penyimpanan storage si data movie...

misalnya; untuk filem animasi di storage A
untuk film keluarga di storage B
untuk film drama di storage C
dan seterusnya..

btw jika di lihat2 kasus ini sih sudah menyentuh integrasi system

demikian khayalan saya, semoga bisa menjadi inspirasi dalam penyelesaian masalahnya.

salam
User avatar
snowflake
Posts: 15
Joined: 22 Mar 2015, 18:18

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby snowflake » 29 Dec 2015, 03:24

Terimakasih sebelumnya atas pencerahan yang di berikan.
jika saya boleh bertanya lagi, mungkinkan beberapa server bisa digabungkan seperti halnya hardisk dengan sistem raid, hinnga hardis tersebut terbacar 1 hardware.
[img:center]https://lh3.googleusercontent.com/-APHPQmwjAPM/VoGZ7DPJ2vI/AAAAAAAAAOw/U2SzaJnZNjA/s851-Ic42/Untitled.png[/img]

mohon maaf jika imajinasi saya terlalu berlebihan...
dan saya berharap dengan modal seadaanya saya bisa membangun server yang luar biasa kapasitasnya...
User avatar
sr_aja
Posts: 597
Joined: 10 Dec 2012, 11:21
Location: Jakarta

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby sr_aja » 29 Dec 2015, 13:15

Mungkin Saja; namun jika menurut pendapat pribadi saya, saya akan lebih memilih NFS server sebagai file server (sharing file pada linux). karena untuk memudahkan auto mounting pada fstab (meskipun file sharing samba juga bisa menggunakan cifs)

gimana kalau kita buat gini;

Samba Server 1,2,3 kita rubah menjadi NFS server 1,2,3

dan mesin yg akan bertindak penghubung ke klien (yang akan melakukan mapping ke directory2 (mount point) NFS server 1,2,3 tersebut.

jika tehnik sharenya berupa file sharing berarti Samba server yg akan menjadi penghubung antara klien dengan directory2 yg sudah kita mount tadi.

namun jika berupa server streaming, berarti anda butuh melakukan pengaturan pada path / directory tempat penyimpanan file2 video tersebut.

saya agak ragu untuk menggabungkan seluruh hardisk yg ada pada NODE 1,2,3 menggunakan LVM (meskipun secara tehnik hal tersebut dapat di lakukan)
tehnis yg saya maksud berupa virtual hardisk , karena saya memimirkan kecepatan trasfer file dan juga permasalahan yg akan muncul jika ada kerusakan pada salah satu bagian node/hardware dari system yg kita buat.

jadi saya meilih jalan tengah dengan memecah Folder share menjadi beberapa bagian.

jika ingin tetep ingin mendapatkan satu gelondongan storage sebesar yg di inginkan; saya berfikir AoE (Ata Over Ethernet) adalah solusi yg lebih baik. sehingga Node 1,2,3 berfungsi sebagai server AoE dan yg menjadi file server ada pada bagian penghubung ke Client. << ini jauh lebih simple.

tapi sekali lagi ini menurut pendapat saya pribadi loh.. :D
kalau salah.. yaa maap :piss:
User avatar
snowflake
Posts: 15
Joined: 22 Mar 2015, 18:18

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby snowflake » 29 Dec 2015, 19:28

terimakasih lagi mas atas pencerahannya...
dan saya menyimpulkan skema server yang mas berikan seperti ini

[img:center]https://lh3.googleusercontent.com/-PDM1NmwtVRY/VoJ8xroHocI/AAAAAAAAAPg/V3rpaDlBDgg/s774-Ic42/Untitled.png[/img]

yang berarti server samba harus dilengkapi ethernet yang mempuni untuk menjamin akses transfer data dengan baik, karena semua data yang diakses memlalui mesin windows akan melalui server samba terlebih dahulu yang bersifat sebagai mesin perantara ke klient..
User avatar
sr_aja
Posts: 597
Joined: 10 Dec 2012, 11:21
Location: Jakarta

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby sr_aja » 29 Dec 2015, 23:14

Yoeh.. anda tepat saya memang membayangkan skema yg anda buat diatas..
Bukan hanya ethernet tapi infrastruktur seperti kabel dan switch
Terutama infrastruktur antara samba sever dengan nfs servernya...
Kenapa? Karena paket data antara nfs server dengan samba server akan sangat rajin bolak balik...
Pengetesan bisa di lakukan dengan menggunakan dd antara satu mount point nfs ke mount point nfs lainnya...

Jika nilainya cihuy.. berarti infrastruktur tersebut sangat layak untuk AoE..
Kalaupun ngak secepat yg di inginkan paling ngak skema inisdh bisa menjawab kebutuhan storage yg besar

Ohh iya selain itu tolong di pisahkan antara ethernet yg menghubungkan nfs server ke samba server dan ke klien

Jadi samba servernya menggunakan 2 interface .


Salam..
User avatar
myitanium
Posts: 399
Joined: 14 Jul 2011, 14:56
Contact:

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby myitanium » 04 Jan 2016, 14:06

nambahin ya.
Mungkin kalau "sekedar" menggabungkan beberapa harddisk besar menjadi 1 harddisk 100 TB bisa diakalin dengan samba server diatas, tapi bagaimna dengan performanya?

Lalu tidak dijelaskan berapa banyak klien yang akan mengakses secara bersamaan.

Jika jumlah klien yang akan mengakses data di 100TB tidak banyak, perlukah 100 TB? mengingat biaya pembuatan dan maintenance server tidak murah.

dari hasil googling sejenak didapatkan ini:
http://blog.bobbyallen.me/2013/01/26/cr ... 12-04-lts/
https://www.howtoforge.com/high-availab ... -on-ubuntu
User avatar
sr_aja
Posts: 597
Joined: 10 Dec 2012, 11:21
Location: Jakarta

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby sr_aja » 04 Jan 2016, 14:58

@myitanium
sebenarnya; saya juga sempat berfikir kalau untuk efesiensi, 3 mesin itu di jadikan samba PDC saja untuk autentikasi secara terpusat bisa menggunakan openldap pada ketiga mesin tersebut.
jadi akan ada 3 mesin samba yg akan melayani masing2 jenis file sharing.

saya juga sangat tertarik untuk testing glusterfs atau AoE, namun karena keterbatasan waktu yahh ngak kelar2 ngopreknye :D.

mungkin buat baca2;
https://www.siemon.com/us/white_papers/ ... lution.asp

namun terkadang.. setelah punya data storage yg gede.. ntu data mau di apain.. alias pengelolaannya mau di gimanain... (beberapa waktu silam.. issu big data; sudah mulai di kumandangkan)
User avatar
myitanium
Posts: 399
Joined: 14 Jul 2011, 14:56
Contact:

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby myitanium » 05 Jan 2016, 15:18

@sr_aja
atau nyari MB yang punya slot pice minimal 4 buah, lalu pasang ini:
http://www.amazon.co.uk/PCIE-SATA-III-C ... B00OY5R1VI
Total akan ada (5x8) + 4 = 44 slot SATA x 4 TB dapat 176 TB
Tapi kemungkinan besar performa tidak bagus karena bottleneck di slot PCIe.

Harga 1 slot hampir 2 juta, total buat mesin bisa habis 50-60 juta. Mendingan beli storage server...
User avatar
sr_aja
Posts: 597
Joined: 10 Dec 2012, 11:21
Location: Jakarta

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby sr_aja » 06 Jan 2016, 11:41

@myitanium;
memang penggunaan controller bisa jadi solusi.
dulu saya sering menggunakan raid controller dari intel.
selain masalah slot socket, ada masalah lain juga, yakni power supplay... kalau hardisknya banyak, sudah barang tentu bakal membutuhkan supplay listrik dari PSU yg bersih..

ini juga asoy sepertinya..
http://www.aberdeeninc.com/abcatg/stirling-x81.htm

@TS;
kalau mau liat.. coba deh nonton ini
https://www.youtube.com/watch?v=DfpzmAGjYqg
mudah2an bisa jadi inspirasi


tapi intinya sih.. ada clue dari kalimat seorang rekan beberapa tahun silam;
belum ada storage yg mampu mengalahkan kapasitas otak manusia..
yahh sejauh ini saya belum pernah nemuin sih ;)
User avatar
83dul
Posts: 34
Joined: 14 Nov 2011, 03:15

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby 83dul » 27 Jan 2016, 13:07

maaf sharing aja. sudah coba Synology DS3611xs. Pakek server NFS buat jalurnya pakek ethernet 1 Gigabyte menurut ku gak kuat dech. Coba Pakek yg 10 GB. mahal sich.... :) atau pakek FO yg 6 GB apa 8 GB untuk ukuran 100TB
Semoga setimpal klo mau bikin 100TB ............
User avatar
sr_aja
Posts: 597
Joined: 10 Dec 2012, 11:21
Location: Jakarta

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby sr_aja » 28 Jan 2016, 22:22

@bedul
Wahh thanks omm atas masukannya..
Btw kalau ethernet server 10gb trus switch nya kudu 10gb juga ya om... yg kadi pikiran aye sih itu ame kabel networknya.. rj ama kabel aye baru pernah make yg 1Gb
User avatar
83dul
Posts: 34
Joined: 14 Nov 2011, 03:15

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby 83dul » 29 Jan 2016, 00:49

@sr_aja
Pastinya lah.... kabel network utk 10GB setahu saya ada 2 macam
1. Copper Cable Direct Attach Cable
2. Fiber Optic Cable LC to LC

klo udh 10GB blm pernah pakek yg menggunakan rj. pakeknya sfp
maaf klo salah udh lama gak bermain dengan hardware :)
info aja buat switch bisa pakek hp procurve seri berapa lupa juga
hahaha... selamat mencoba dech....

klo mau bikin project kaya gini ajak-ajak donk.....hahaha
User avatar
bang_andi
Posts: 398
Joined: 03 Sep 2010, 09:07
Location: Di sekitar sungai musi...
Contact:

Re: [ASK] CARA BUAT FILE SERVER 100TB ?

Postby bang_andi » 06 Apr 2016, 20:21

Coba OpenMediaVault (OMV) http://www.openmediavault.org

Return to “Ubuntu Server”

Who is online

Users browsing this forum: No registered users and 5 guests