Sabancı Üniversitesi Mühendislik ve Doğa Bilimleri Fakültesi (MDBF) Araştırmacısı Ömer Ceylan’ın yürütücüsü olduğu proje, TÜBİTAK 1001 - Bilimsel ve Teknolojik Araştırma Projelerini Destekleme Programı kapsamında destek almaya hak kazandı.
“Nesnelerin İnterneti Uygulamaları için Gerilim, Sıcaklık ve Üretimsel Sapmaları Dikkate Alarak Yüksek Enerji Verimliliği ve Çıkarım Doğruluğuna Sahip Derin Öğrenme Ağları Geliştirilmesi” başlığını taşıyan proje kapsamında MDBF Öğretim Üyeleri Erdinç Öztürk ve Öznur Taştan araştırmacı olarak görev alacak. Projenin danışmanlığını Stony Brook University’den Emre Salman yapıyor.
Projenin hedefleri hakkında bilgi veren Ömer Ceylan şunları söyledi: Projenin hedefi enerji verimliliği yüksek IoT uygulamaları için derin öğrenme ağlarını hızlı bir şekilde analiz etmek ve geliştirmek için öncelikli olarak gerilim, sıcaklık ve üretimsel sapmaları (PVT variations) dikkate alan olasılıksal zamanlama hata modeli (timing error probability model) geliştirmek, ve daha sonra bu hata modelini kullanarak derin öğrenme ağlarını en üstten en aşağıya seviyeye (ağ seviyesi, mimari seviye, devre seviyesi ve hatta niceleme (quantization) seviyesi) oldukça fazla zaman alan simülasyonlar yapmaksızın tasarlamayı mümkün kılan bir platform oluşturmaktır. Geliştirilecek olan bu platform kullanılarak ilk olarak 64x64 dizi formatında, daha sonra 256x256 dizi formatında çarpma-toplama (MAC) ünitesinden oluşan iki adet prototip tümleşik devre 65 nm CMOS teknolojisi kullanılarak ürettirilecek ve geliştirilen platformun yetenekleri bu tümleşik devreler üzerinde doğrulanacaktır. Dolayısıyla projenin amacı besleme geriliminin düşürüldüğü durumda besleme gerilimi, sıcaklık ve üretimden kaynaklanan sapmaları dikkate alarak çıkarım doğruluğunu (inference accuracy) düşürmeksizin (en fazla %2’lik düşüş olacak şekilde) enerji verimliliği yüksek derin öğrenme ağları için donanım geliştirme platformu oluşturmak ve bunu yaparken de literatürdeki örneklerin aksine oldukça uzun zaman gerektiren simülasyonlar kullanmadan kendi geliştirdiğimiz istatistiksel zamanlama hata modelleri kullanarak hızlı (geleneksel kapı seviyesi simülasyonlara göre 100X daha hızlı) bir şekilde yapmaktır. Geliştirilecek olan platform uygulanan diğer tekniklere alternatif değil, onlarla beraber kullanılabilecek ve diğer tekniklerin (kullanılacak derin öğrenme ağının, kullanılan veri tipinin, veri bit genişliğinin, derin öğrenme ağında kaç tabaka (layer) kullanılacağı gibi farklı parametrelerin) birlikte hızlı bir şekilde değerlendirilebilmesine olanak sağlayacak katmanlar arası optimizasyon platformu olacaktır. Proje kapsamında yapılacak olan çalışmalar PVT sapmalarının tümünü dikkate alarak en yüksek doğrulukta zamanlama hata modeli kullanarak yüksek çıkarım doğruluğuna düşük enerji tüketerek ulaşabilmesi ve bunu hızlı bir şekilde yapabilmesi ile literatürde önemli bir eksikliği kapatacaktır.
Projenin önemine de değinen Ömer Ceylan şu şekilde konuştu: Yapay zeka her geçen gün farklı uygulama alanları bulmakta ve önemini artırmaktadır. Sağlık sektöründe teşhis yapmakta, insansız hava araçlarında, otomobillerde kullanılmakta, endüstriyel otomasyon sistemlerinde, çağrı merkezlerinde ve daha birçok yerde kullanılmaktadır. Bununla beraber nesnelerin interneti (IoT) uygulamaları da her geçen gün uygulama alanlarını artırmakta, çeşitli sensörlerle merkezden uzak konumlarda veriler toplanabilmekte, uygulamasına göre bu veriler ya yerinde işlenerek hemen aksiyon alınmakta veya buluta gönderilip oradan işlenerek aksiyon alınabilmektedir. IoT uygulamalarının etkinliğini artırmak için birçok IoT uygulamasında makine öğrenmesi ve derin öğrenme gibi yapay zeka unsurları kullanılmaktadır. Mobil, giyilebilir ve IoT gibi yerinde hesaplama (edge computing) ve işleme yapan cihazlara derin öğrenme metodunun entegre edilmesi son yıllarda ilgi çekmektedir. Derin öğrenme (deep learning) özellikle tanıma ve örüntü eşleme uygulamalarında sıkça kullanılan metodlardan biri olarak son yıllarda öne çıkmaktadır. Bu şekilde yapay zekanın sunduğu olanaklar merkezden uzak konumlarda da kullanılabilmekte ve yapay zekanın kullanım alanları artmaktadır. Bazı uygulamalarda en kısa sürede doğru kararların alınması, verinin hemen işlenmesi ve işlem sonucuna göre hareket edilmesi gerekmektedir. Bu tür uygulamalarda verinin bir merkeze gönderilmesi, orada işlenmesi ve geri iletilmesi için gereken zamandan daha kısa bir sürede işlemlerin tamamlanması gerekmektedir. Nesnelerin interneti uygulamalarında gecikmenin azaltılması dışında yerinde/uçta algılama ve karar verme ihtiyacının sebepleri arasında bant genişliğinin düşürülmesi, enerji verimliliğinin artırılması ve güvenlik de bulunmaktadır. IoT uygulamalarının birçoğu aynı zamanda sürekli bir enerji kaynağından yoksun, hatta bazı durumlarda kendi enerjisini kendi üretmesi gereken cihazlardır ve dolayısıyla enerji bakımından verimli olmak zorundadırlar. Bu sebeple günümüzde çokça uygulama alanı olan derin öğrenme ağlarının (deep neural networks (DNN)) IoT cihazlarında kullanılabilmesi için enerji verimliliği büyük önem arz etmektedir.
Enerji verimliliği yüksek aynı zamanda performansı yüksek, hızlı çalışabilen ve çıkarım doğruluğu yüksek DNN donanımları geliştirebilmek için katmanlar arası (cross-layer) bir yaklaşım gerekmektedir. Bu katmanlar devre seviyesinden başlamakta olup, bir üst seviyede devre mimarisi ve daha sonra derin öğrenme ağının tasarımına seviyesine çıkmaktadır. Bu katmanları birbirinden bağımsız bir şekilde tasarlamak, geliştirmek mümkün değildir. Tüm katmanlar birbirleriyle sıkı bir ilişki içerisindedir. Dolayısıyla birbiri içine geçmiş bu katmanların hepsini dikkate alan ve hızlı bir şekilde sonuç veren bir platformun geliştirilmesi gerekmektedir. Bu iş de mevcut kapı seviyesi sayısal devre simülasyonları kullanıldığı durumda oldukça yüksek sayıda parametrenin bir arada optimize edilmesi gerektiğinden dolayı çok uzun bir süre almaktadır ve pratikte mümkün değildir. Dolayısıyla bu süreci hızlandıracak bir simülasyon altyapısı kurmak, buna uygun bir model kullanmak gerekmektedir. Bu amaca yönelik olarak bu proje kapsamında katmanlar arası hızlı simülasyonu mümkün kılacak olasılıksal zamanlama hatası tahmin modeli geliştirilecektir. Bu model PVT sapmalarını dikkate alarak zamanlama hatalarını doğru bir şekilde bulmaktadır. Daha sonra bulunan bu zamanlama hataları derin öğrenme ağına hata olarak verilip, derin öğrenme ağının bu durumda nasıl çalışacağına, çıkarım doğruluğunun nasıl etkilendiğine bakılacaktır. Buradan elde edilen bilgilerle de düzeltilmesi gereken hatalar düzeltilecek, derin öğrenme ağının toleranslı olacağı hatalar ise düzeltilmeyecektir. Bu şekilde çalışacak bir platform sayesinde derin öğrenme ağlarının katmanlar arası bir yaklaşımla hızlı bir şekilde geliştirilmesi sağlanacaktır. Geliştirilen bu platform besleme geriliminin azaltıldığı durumda PVT sapmalarını dikkate alarak doğruluğu yüksek zamanlama modelleri kullanan ve buna göre derin öğrenme ağının farklı katmanları için farklı besleme gerilimleri kullanabilen bir yaklaşımla IoT cihazlarda kullanılmak üzere derin öğrenme ağı donanımı geliştirilmesi için kullanılacaktır.