Ana sayfa

TRUBA Wiki Sayfası sitesinden

Sefa Arslan (Mesaj | Katkılar) tarafından oluşturulmuş 06:49, 19 Şubat 2018 tarihli sürüm
(fark) ← Önceki hali | en güncel halini göster (fark) | Sonraki hali → (fark)
Git ve: kullan, ara

TRUBA Wiki sayfası 01.12.2013 tarihinden itibaren güncellenerek TRUBA'ya kayıtlı araştırmacıların hizmetine sunulmuştur.

Konu başlıkları

Duyurular

  • ARDEB tarafından proje önerisi kabul edilmiş ve/veya ARDEB'e proje önerisi sunacak araştırmacılarımız için 2017 yılı için belirlenen Hesaplama Servis Birimi ve Veri Servis Birimi değerlerini bu sayfadan alabilirler. (03.01.2018)
   TRUBA Hizmetlerinden Proje Kapsamında Faydalanacak Akademik İstekliler için HSB ve VSB Hizmeti - 2018
  • Hesaplama kümelerinde beklenmeyen servis kesintisi - 18.09.2018

Değerli araştırmacılarımız,

TUBİTAK ULAKBİM, TRUBA kaynaklarının bulunduğu sistem odasında yaşanan bir elektrik arızası sebebi ile iklimlendirme cihazlarında kesinti yaşanmış, bu kesinti sebebi ile 18.09.2018 saat 06:00-12:00 sistemlere erişimde aralıklı olarak sorun yaşanmıştır.

İklimlendirme problemi sebebi ile servis sunucuları ve tüm kümelerimiz depolama servislerine erişimlerde kesintiler yaşamıştır. Kümelerimiz üzerinde mevcut çalışan işlerin büyük bir bölümü çalışmaya devam etmiştir. Tüm kullanıcılarımızın kuyruktaki işlerinin durumlarını kontrol ederek, egğer sonlanan ya da askıda kalan işleri var ise ilgili işlerini tekrar kuyruğa göndermelerini öneririz.

Anlayışınız için teşekkür eder, iyi calışmalar dileriz.

TRUBA Operasyon Merkezi

  • Hesaplama kümelerinde genel bakım tamamlanmıştır - 06.03.2018

Sayın Kullanıcılarımız,

2018-03-06 saat 16:30 itibari ile TRUBA’daki bakım çalışmaları tamamlanmış bulunmaktadır. Sistem aşağıda yer alan birkaç farklılık dışında eskiden kullandığı biçimde kullanılmaya devam edilebilir. Bakım çalışmaları sırasında yapılan değişlikleri aşağıda bulabilirsiniz:

Kuyruk Sisteminde Yapılan Değişiklikler:
  • Short, mid1, mid2 ve long kuyrukları, CPU tabanlı tüm sunucuları kapsayacak şekilde genişletilmiştir.. Kuyrukların önceliklerinde çeşitli ayarlamalar yapılmış, süresi daha kısa olan kuyruklara gönderilen işlerin öncelikleri arttırılarak kısa süreli kuyruklara gönderilecek işlerinin daha çabuk başlaması sağlanmıştır.
Short kuyruğuna gönderilen işlerin önceliği 20000
Mid1 kuyruğuna gönderilen işlerin önceliği 17500
Mid2 kuyruğuna gönderilen işlerin önceliği 15000
Single kuyruğuna gönderilen işlerin önceliği 15000
Long ve geri kalan tüm kuyruklara gönderilen işlerin önceliği 12500 den başlamaktadır.
  • Short, mid1, mid2 ve long kuyruklarını diğer kuyrukları kapsayacak üst kuyruklar olarak düşünülmelidir. Bu kuyruklara gönderilen işler levrek, levrekv2, sardalya ya da barbun sunucularının herhangi birinde çalışmaya başlayabilirler. Bu kuyruklara gönderilecek işlerin belli bir sunucu ailesi üzerinde çalışması isteniyorsa, betik dosyalarına aşağıdaki tanımlar yazılmalıdır:
barbunlar için #SBATCH --constraint=barbun
levrekler için #SBATCH --constraint=levrek
sardalyalar için #SBATCH --constraint=sardalya
levrekv2ler için #SBATCH --constraint=levrekv2
Not: --contstraint= yerine -C de kullanılabilir.
İşler önceden olduğu gibi üst kuyruklar yerine doğrudan mercan, levrekv2, sardalya ve barbun kuyruklarına gönderilebilir.
  • Mercan ve single kuyruğuna gönderilen işler hariç, diğer tüm kuyruklara gönderilen işlerin çekirdek sayısı 4 ve 4’ün katları olacak şekilde ayarlanmalıdır.
  • Cuda kuyruğunun adı levrekv2-cuda olarak değiştirilmiştir.
  • levrekv2-cuda ve barbun-cuda kuyruklarına gönderilen işlerin GPU kullanabilecek ve GPU talep eden işler olması zorunludur. Yeni düzenleme ile aynı GPU'u birden fazla iş tarafından kullanabilecektir.
Dosya Sistemi ve Kullanıcı Gruplarında Yapılan Değişikler:
  • Kullanıcı disk kotaları 600GB’dan 1TB’a çıkarılmıştır.
  • Kullanıcılar daha önce, bağlı bulundukları disiplinlere göre trgrida..trgride gibi unix gruplarına ayrılmışlardı, yapılan yeni düzenleme ile her kullanıcı için, kendi kullanıcı adı ve kullanıcı numarası ile aynı (UID) numaraya sahip kullanıcı grupları oluşturulmuş ve her kullanıcı kendi kullanıcı grubuna dahil edilmiştir. Dosya sistemindeki tüm dosyaların gruplarının değiştirilmesine başlanmıştır.
Ev dizinlerini farklı kullanıcı adı/grupları ile paylaşan araştırmacılarımız, bu düzenlemeden sonra dsya erişimlerinde yetkilendirme sıkıntısı gözlemlerlerse dogrudan grid-teknik@ulakbim.gov.tr adresine mesaj atabilirler.


  • Hesaplama kümelerinde genel bakım - 08.02.2018



Altyapıdaki tüm sunucularda, 3 gün sürecek bir yazılım güncellemesi yapılacaktır. 05.03.2018-08.03.2018 tarihleri arasında bu nedenle hiç bir iş çalışamayacaktır. Bakım öncesinde kuyruğa gönderilecek işlerin başlayabilmeleri için, 05.03.2018 tarihinden önce bitebilecek şekilde ayarlanmış olmaları gerekmektedir. İşler gönderilirken, --time parametresi belirlenirken bu durumun göz önünde bulundurulması önemle rica olunur.


  • Barbun ve Barbun-cuda kümeleri - 08.02.2018


TRUBA altyapısına iki yeni küme eklenmiştir. Bu donanım grubu hakkında ayrıntılı bilgiye Barbun Kümesi ve Kullanıcı El Kitabı sayfalarından erişilebilir. Bu iki küme Şubat 2018 sonunda devreye alınacaktır.


  • İleri Fortran, OpenMP ve MPI Eğitimleri - 01.10.2017


TÜBİTAK ULAKBİM ev sahipliğinde düzenlenen İleri Fortran, OpenMP ve MPI eğitimleri ile ilgili detaylı bilgiler bu sayfada yer almaktadır. İlgili eğitimlerin kayıt süreci tamamlanmış olup, her türlü soru ve sorun için egitim@truba.gov.tr eposta adresine ulaşım sağlanabilir.


  • Sardalya kümesi - 03.03.2017


128 sunucudan oluşan sardalya kümesi Nisan ayının başında hizmete alınacaktır.. Bu kümeyi TRUBA'daki çalışmalarını bir sözleşme kapsamında yürüten kullanıcılar kullanabilecektir.. Daha detaylı bilgiye Sardalya Kümesi ve Kullanıcı El Kitabı sayfalarından erişilebilir.


  • 5. Ulusal Yüksek Başarımlı Hesaplama Konferansları​ -​ BAŞARIM - 01.09.2017


Yüksek başarımlı hesaplama ile ilgili deneyim, araştırma, çalışma ve sonuçların, ulusal ölçekte bilimsel bir etkinlik kapsamında değerlendirilmesi ve paylaşılması amacı ile düzenlenmekte olan Ulusal Yüksek Başarımlı Hesaplama Konferanslarının beşincisi, BAŞARIM 2017 adı altında, 14-15 Eylül 2017 tarihlerinde Yıldız Teknik Üniversitesi’nde gerçekleştirilecektir.

Detaylı bilgi için tıklayınız.


  • TÜBİTAK ULAKBİM Adres Değişikliği

TÜBİTAK ULAKBİM Müdürlüğü, bundan sonra aşağıdaki adreste faaliyetlerine devam edecektir. 10.01.2017 - 13.01.2017 tarihleri arasında taşınma işlemleri nedeniyle iletişim kanallarımız kısıtlı olacaktır.

Yeni adres: TÜBİTAK ULAKBİM Mustafa Kemal Mahallesi Dumlupınar Bulvarı (Eskişehir Yolu 7. Km.) 2151 Cadde No: 154 ODTÜ Karşısı 06510 Çankaya / ANKARA

TRUBA kaynaklarının bulunduğu sistem odası, YÖK binasında mevcut hizmetlerine devam edecektir.


  • Kota Uygulaması - 16.06.2015

Daha önce 06.03.2015 tarihinde genel duyuru, 16.03.2015 ve 02.04.2015 tarihinde özel olarak duyurduğumuz üzere, ortak kullanılan /truba/home ve /truba_scratch alanlarının disk doluluğunun artması sebebi ile kullanıcı hesaplarına 600GB kota konulmuştur. Lütfen /truba/home ve /truba_scratch alanında bulunan, hesaplaması tamamlanmış girdi ve çıktı dosyalarınızı lokal disk alanlarınıza aktarımını yaparak, silmeniz kotanızı aşmamanız için önerilmektedir.

Ayrıca, /truba_scratch alanında 1 aydan fazla erişilmeyen dosyaların otomatik olarak silinecektir. Silinme işleminden sonra, herhangi bir şekilde veri yedeğinden dönülme ihtimali olmadığı için, lütfen /truba_scratch altındaki önemli verilerinizi /truba/home dizini altındaki ev dizininize kopyalayınız.

Hesaplarında kota problemi ile karşılaştığınız durumda "lquota" komutu ile kota bilginizi alabilir, /truba/home ve /truba_scratch alanlarından işlemi bitmiş olan verilerinizi temizleyebilirsiniz.,

Not: Sözleşmeli olarak TRUBA servislerinden hizmet alan projeler için kota uygulaması, proje sözleşmesinde yer aldığı şekli ile uygulanmaktadır.


  • TRUBA Tanıtım Kitapçığı - 22.04.2015

Değerli kullanıcılarımız,

TRUBA 2015 tanıtım kitapçığına aşağıdaki bağlantıdan erişilebilmektedir.

http://www.truba.gov.tr/truba2015-kitapcik.pdf


  • Servis İyileştirme Kesintisi Sonu - 21.01.2015

Değerli kullanıcılarımız,

Yüksek performanslı veri depolama sistemine aktarım tamamlanarak, ev dizinleri (/truba) ve scratch (/truba_scratch) I/O performansı ve depolama alanı büyüklüğü bakımından daha başarılı olan 2014 yılı sonunda alımı tamamlanan sistemlerde çalışmaya başlamışlardır.

Ayrıca "lufer kümesi" olarak adlandırılan yapı lufer1.ulakbim.gov.tr kullanıcı arayüz sunucusu ile birlikte, kapatılarak bu kümedeki tüm hesaplama kaynakları "levrek kümesi" "mercan" kuyruğuna aktarılmıştır. Lüfer kümesindeki ev dizinlerinin (/home_palamut1 /home_palamut2, /home_eymir), yeni depolama sistemine taşınma işlemi devam etmektedir. TBu taşıma işleminin bitmesinin ardından, kullanıcılarımız verilerine /truba/home_palamut/home_{palamut1, palamut2, eymir}/$USER dizininden ulaşarak, ihtiyaç duydukları verileri kendi ev dizinlerine (/truba/home/$USER) taşımalıdırlar. Bu dizindeki veriler kullanıcıların disk kotalarına dahil edilmiştir. Kota sorunu yaşayan kullanıcıların buradaki verilerini kontrol ederek kendi kişisel bilgisayarlarına indirmeleri gerekmektedir.

20 Nisan 2015 tarihinde /truba/home_palamut/home_{palamut1, palamut2, eymir} dizinlerinin altındaki veriler tamamen silinecektir.

Mercan kuyruğundaki sunucularda Centos6.4'den Centos6.6 işletim sistemine geçilmiştir. Yapılan testlerde, Centos6.4 üzerinde çalışan uygulamaların çoğunun yeniden derlemeye gerek duymadan Centos6.6 üzerinde de sorunsuz biçimde çalıştığı görülmüştür. Bu güncellemeden kaynaklı sorun yasayan kullanıcılarımız uygulamalarını yeniden derlemelidirler.

Gaussian09'un Intel versiyonunu kullanan araştrımacılarımız Centos6.6 Mercan sunucularında problem yaşayabilirler. Bu durumda, Mercan sunucularında Gaussian09'un AMD versiyonu kullanılmalıdır.


  • 19-21 Ocak 2015 Servis İyileştirme Kesintisi

19-21 Ocak 2015 tarihinde yeni alinan yuksek performansli depolama alanlarinin hizmete girmesi ve eski kullanilan lufer kümesinin kapatilmasi icin kesinti yapilacaktir. Ilgili calismada, mevcut calisilan depolama alanlari, yeni depolama alanina tasinacagi icin: sistemlere erisim, yeni is gönderme mumkun olmayacagi gibi, devam eden islerin de kesintiye ugramasi soz konusudur.

Ilgili calisma sonrasinda tum arastirmacilarimiz, levrek kumesi üzerinden calismalarina devam edecek olup, daha once duyuruldugu üzere lufer kumesi kullanima kapatilarak, lufer kümesi ile birlikte kullanilan /home_palamut(*) ev dizini yapisi kaldirilacaktir.

Calisma yapilacak zaman kadar, islerinizin ilgili tarihlerde kesintiye ugrayacagini dusunerek yeni islerinizi planlamanizi rica ederiz.

Her turlu soru ve sorun icin grid-teknik@ulakbim.gov.tr adresine mesaj gonderebilirsiniz.


  • TR-Grid Wiki Sayfası http://wiki.grid.org.tr adresinden http://wiki.truba.gov.tr adresine taşınmıştır.
  • TR-Grid Oluşumunda yer alan TR-Grid Altyapısı, 10 Temmuz 2010 tarih ve 188 sayılı TÜBİTAK Bilim Kurulu kararı ile Türk Ulusal Bilim e-Altyapısı (TRUBA) olarak anılmaya başlanmıştır.


TRUBA Hakkında

TÜBITAK ULAKBIM, kuruluşundan itibaren sırası ile araştırma ağları, yüksek başarımlı hesaplama, veri yoğun hesaplama ve bilimsel veri ambarları servislerini sunmaktadır. Sağlanan hizmetlere günümüz itibarı ile bakıldığında e-Altyapıların sürekli ve sağlıklı işleyebilmesi için gerekli bütün bileşenleri içerdiği görülmektedir. Bulut hesaplama ve Yeşil Bilişim Teknolojileri (Green IT) gibi yeni teknolojik gelişmelere yönelik projeler, merkezler ve üretilen politikalar yakından takip edilerek e-Altyapının tüm bileşenleriyle birlikte çalışılabilirliğine büyük önem verilmektedir.
Yüksek başarımlı hesaplama, veri yoğ un hesaplama, bilimsel veri ambarları ve bulut hesaplama gibi servisler TÜBİTAK ULAKBİM Yüksek Başarımlı Hesaplama Grubu tarafından işletimi yapılmakta olan ve 2010 yılı sonuna kadar TR-Grid, 2011 itibariyle TRUBA olarak adlandırılan altyapıda sağlanmaktadır.
2003 senesinde kurum bütçesi ile TÜBİTAK ULAKBIM,satın aldığ ı 128 adet PC ile yüksek başarımlı hesaplama çalışmalarına başlamış, daha sonra gerek ulusal araştırmacılardan gelen talep, gerekse uluslararası projelerde kazanılan deneyim ve başarıların etkisiyle TUGA (Türk Ulusal Grid Altyapısı / TR-Grid) projesini gerçekleştirmiştir. TÜBİTAK Bilim Kurulu onayı ile TARAL kapsamında desteklenen TUGA projesi kapsamında 2006-2008 döneminde altyapı desteklenmiş ve önemli ölçüde genişletilmiştir.
2009 yılında DPT Araştırma Altyapısı Proje Çağrısına başvurularak "TR-Grid Araştırma e- altyapısının Güçlendirilmesi" projesi sunulmuştur. Bu proje kapsamında eski adı ile TR-Grid olarak adlandırılan TRUBA,2011 yılı sonuna kadar DPT tarafından desteklenmiştir. 2012 yılından itibaren bir önceki projenin devamı niteliğindeki "Türk Ulusal e-Bilim e-Altyapısını Güçlendirmesi" projesi ile Kalkınma Bakanlığı’ndan alınan destek ile altyapının genişletilmesi ve mevcut teknolojilerle güncelleştirilmesi sürdürülmektedir.
TRUBA, 160 farklı üniversiteden 1700 aratırmacıya bilimssel çalışmalarına katkıda bulunmak üzere doğrudan hizmet veren, farklı kamu kurumları ve araştırma enstitüleriyle ortak projeler gerçekleştirilen ve son altı yılda 10 Avrupa Birliği Çerçeve Program Projesinde yer alınmasını sağlayan ulusal anlamada stratejik önemi çok büyük ve benzersiz birUlusal e-Altyapıdır.
TRUBA Oluşumu'nun genel amaçları aşağıdaki gibi sıralanabilir:
* Yüksek başarımlı, grid ve bulut hesaplama ve depolama altyapısını işletmek ve genişletmek.
* TRUBA’da farklı merkez ve araştırma grupları ile oluşturulan çalışma modellerinin kapsamının genişletilerek ülke genelinde standartların ve yol haritaları ile oluşturulmuş ulusal e-Altyapı oluşturulmak.
* TRUBA’nın e-Altyapılardaki yeni teknolojik gelişmelere entegrasyonu sağlamak.


TRUBA Kaynakları

2003 yılında faaliyete geçen TÜBİTAK ULAKBİM Yüksek Başarımlı ve Grid Hesaplama Merkezi'nde bulunan kaynaklar TRUBA'ya dahildir. Günümüzde TRUBA ~15.000 işlemci çekirdeği, 36 adet GPU ve toplamda 4PB Lustre dosya sistemi ile araştırmacılarımıza hizmet vermektedir.
Yıl Adet CPU/GPU İşlemci Modeli SPECfp_rate_base2006 Teorik Gflops Bellek Tanımı
2003 128 1 çekirdek x 1 CPU Pentium IV 2.66GHz - - 1 GB Kullanım dışı
2006 64 2 çekirdek x 2 CPU Xeon 5110 1.60GHz 17 - 4 GB Kullanım Dışı
2006 36 2 çekirdek x 2 CPU Xeon 5110 1.60GHz 17 - 4 GB Kullanım Dışı
2007 30 4 çekirdek x 2 CPU Xeon X5355 2.66GHz 56.3 - 16 GB Grid Sitesi
2008 16 4 çekirdek x 2 CPU Opteron 2356 1.15GHz 81.3 36.8 16 GB Grid Sitesi
2009 154 4 çekirdek x 2 CPU Xeon X5550 2.67GHz 184 85.44 24 GB Grid Sitesi & Özel Küme
2010 12 12 çekirdek x 4 CPU Opteron 6174 2.20GHz 574 422.4 128 GB Grid Sitesi & Federe Bulut Altyapısı
2011 192 12 çekirdek x 2 CPU Opteron 6176 2.30GHz 294 220.8 128 GB Mercan Kümesi
2013 128 8 çekirdek x 2 CPU Xeon E5-2690 2.90GHz 487 371.2 256 GB Levrek Kümesi
2014 48 12 çekirdek x 2 CPU Xeon E5-2680 v3 2.50GHz 763 960 256 GB LevrekV2 kümesi
2014 16 12 çekirdek x 2 CPU +2 x Nvidia M2090 Xeon E5-2680 v3 2.50GHz 763 960 Gflops + 2x 1330 Gflops 256 GB + 2x 6GB GDR5 Levrek-cuda Kümesi|
2016 1 14 çekirdek x 16 CPU Xeon E7-4850 v3 2.20GHz - 7.9Tflops 4TB Orkinos Kümesi
2017 128 14 çekirdek x 2 CPU Xeon E5-2690 v3 2.60GHz 970 1164Gflops 256 GB Sardalya Kümesi
2018 120 20 çekirdek x 2 CPU Xeon Scalable 6148 2.40GHz 1400 2048Gflops 384 GB Barbun Kümesi
2018 24 20 çekirdek x 2 CPU +2 x Nvidia P100 GPU Xeon Scalable 6148 2.40GHz 1400 2048Gflops +9400Gflops 384 GB + 2x16 GB HBM2 Barbun-cuda kümesi

TRUBA Üyeleri için Gerekli Bilgiler

TRUBA Hesaplama Kümeleri

TRUBA Grid Siteleri

TÜBİTAK ULAKBİM, 2005 yılından itibaren farklı Avrupa Birliği Çerçeve Programı projelerinde(SEE-GRID, SEE-GRID-II, SEE-GRID-SCI, EGEE-II, EGEE-III, EGI InSPIRE, EUMedGrid, EUMedGrid-Support) yer almaktadır. Bu projeler kapsamında bilimsel hesaplama yapan araştırmacılar dağıtık altyapılarda çalışabilen uygulama ve veri setleri için oluşturulmuş bilimsel sanal organizasyon (VO) üyelikleri dahilinde, projelere dahil olan farklı ükle ve şehirlerdeki grid altyapılarından da hizmet alabilmektedirler.

TÜBİTAK ULAKBİM bünyesinde bulunan ve TRUBA kaynaklarına dahil olan TR-FC1-ULAKBIM, TR-10-ULAKBIM ve TR-03-METU siteleri şu anda aktif olarak Avrupa Grid Oluşumu içerisinde farklı bilimsel alanlardaki ulusal, bölgesel ve uluslararası sanal organizasyonlara destek vermektedir.

TRUBA Bulut Hizmeti

Dahil olduğumuz, EGI InSpire projesi kapsamında üye olunan sanal organizasyonlarla birlikte kullanılabilecek Federe Bulut Altyapımız Mayıs 2014 tarihinden itibaren aktiftir. Daha fazla bilgi için lütfen grid-teknik@ulakbim.gov.tr adresine mesaj atınız.

Kişisel araçlar