|
Proje Başlığı :
Büyük ölçekli öğrenme için hızlı ve yakınsak algoritmalar
|
|
Özet Destek vektör makinaları son 15 yıldır otomatik öğrenme alanında baskın bir teknik olarak öne çıkmaktadır. Destek vektör makinaları metodunun veri sayısı çok fazla olduğunda çözümü zorlaşmaktadır. Çünkü dual problem üzerinden çözülmeye kalkışıldığında problemin boyutu veri sayısına eşit olmaktadır ve veri sayısı fazlalığı durumunda problem çözülememekte ya da çözüm çok fazla kaynak istemektedir. Bu proje teklifinde büyük ölçekli öğrenme için hızlı ve/veya yakınsama garantili algoritmalar geliştirmesi önerilmektedir. Büyük ölçekten kasıt çoğu zaman fazla sayıda eğitim örneği demektir. Biz ayrıca hem fazla örnek hem de yüksek boyutta öznitelikler olduğu durumları hedefliyoruz. Bu tür büyük ölçekli problemler daha çok doğal dil işleme, konuşma tanıma ve çoklu ortam sinyal işleme ile ilgili problemlerde karşımıza çıkmaktadır. Bu çalışmada herhangi bir uygulamadan çok algoritma geliştirilmesi üzerine odaklanılacak ve standart veritabanlarında diğer algoritmalar ile başarım karşılaştırılacaktır. Algoritmalar çok büyük problemler için bile makul cevaplar bulabilecek şekilde geliştirilecektir. Çünkü gerçek problemlerde gerçekten çok fazla sayıda veri ile çalışılması gerekebilmektedir. Örneğin konuşma tanıma ya da konuşmacı tanıma problemlerinde veri sayısı milyarları bulabilmektedir. Büyük boyutlu problemlerde doğrusal sınıflandırıcılar doğrusal olmayanlar kadar iyi çalışabildiğinden doğrusal sınıflandırıcılara ağırlık vereceğiz. Fakat, aynı zamanda çekirdek numarası (kernel trick) ile doğrusal olmayan sınıflandırıcılarla da çalışacağız. Bu algoritmaları geliştirmek için öncelikle primal problem üzerinde çalışacağız ve istatistik ve imge geriçatımı problemlerine uygulanmış fakat otomatik öğrenme problemlerinde fazla irdelenmemiş olan MM (majorize-minimize) tekniğini esas alacağız. Proje yürütücüsünün doktora çalışmaları sırasında geliştirdiği karesel vekiller (paraboloidal surrogates) tekniğinin yüksek ölçekli öğrenme amaçlı olarak da kullanılabileceğini düşünmesi sonucunda, bu proje fikri ortaya çıkmıştır. Karesel vekiller tekniği de bir MM tekniğidir, dalında çok başarılı olmuştur ve yürütücünün bu konudaki yayınları 200’ün üzerinde atıf almıştır. Düzenlileştirilmiş ampirik risk enküçüklemesi problemindeki hedef fonksiyonuna teğet ve üzerinde olan bir karesel fonksiyonun döngülü biçimde minimizasyonuna dayanan bu metoda QMM (quadratic MM) diyebiliriz. Düşünülen algoritmaların bir kısmı ikili sınıflandırma için ön çalışma olarak denenmiş ve en gelişmiş tekniklerle (liblinear) yarışabilir derecede başarılı bulunmuştur. Geliştirilecek yazılımların açık kodlu olarak internet üzerinden akademik dünyaya açılması ve bunun global etkide bulunması beklenmektedir.
Projede hedef alınan yüksek ölçekli problemler aşağıda sıralanmıştır 1. İkili sınıflandırma 2. Çoklu sınıflandırma 3. Sınıflandırıcı birleşimi için çoklu sınıflandırma 4. Yapısal parametreli sınıflandırma, örneğin konuşma tanıma için eniyi filtreleme
Projede araştırılacak algoritma teknikleri aşağıda sıralanmıştır: 1. QMM üzerine koordinat iniş 2. QMM üzerine grup koordinat iniş 3. QMM ve dışbükeylik özelliği ile geliştirilecek ayrılabilir (separable) iniş 4. QMM üzerine eşlenik gradyan ile yaklaşık azaltım 5. Stokastik gradyan algoritmalarında ayrılabilir iniş metodu ile ikinci derece bilgi kullanımı
|
|
Proje Başlığı :
Büyük ölçekli öğrenme için hızlı ve yakınsak algoritmalar
|
|
Özet Destek vektör makinaları son 15 yıldır otomatik öğrenme alanında baskın bir teknik olarak öne çıkmaktadır. Destek vektör makinaları metodunun veri sayısı çok fazla olduğunda çözümü zorlaşmaktadır. Çünkü dual problem üzerinden çözülmeye kalkışıldığında problemin boyutu veri sayısına eşit olmaktadır ve veri sayısı fazlalığı durumunda problem çözülememekte ya da çözüm çok fazla kaynak istemektedir. Bu proje teklifinde büyük ölçekli öğrenme için hızlı ve/veya yakınsama garantili algoritmalar geliştirmesi önerilmektedir. Büyük ölçekten kasıt çoğu zaman fazla sayıda eğitim örneği demektir. Biz ayrıca hem fazla örnek hem de yüksek boyutta öznitelikler olduğu durumları hedefliyoruz. Bu tür büyük ölçekli problemler daha çok doğal dil işleme, konuşma tanıma ve çoklu ortam sinyal işleme ile ilgili problemlerde karşımıza çıkmaktadır. Bu çalışmada herhangi bir uygulamadan çok algoritma geliştirilmesi üzerine odaklanılacak ve standart veritabanlarında diğer algoritmalar ile başarım karşılaştırılacaktır. Algoritmalar çok büyük problemler için bile makul cevaplar bulabilecek şekilde geliştirilecektir. Çünkü gerçek problemlerde gerçekten çok fazla sayıda veri ile çalışılması gerekebilmektedir. Örneğin konuşma tanıma ya da konuşmacı tanıma problemlerinde veri sayısı milyarları bulabilmektedir. Büyük boyutlu problemlerde doğrusal sınıflandırıcılar doğrusal olmayanlar kadar iyi çalışabildiğinden doğrusal sınıflandırıcılara ağırlık vereceğiz. Fakat, aynı zamanda çekirdek numarası (kernel trick) ile doğrusal olmayan sınıflandırıcılarla da çalışacağız. Bu algoritmaları geliştirmek için öncelikle primal problem üzerinde çalışacağız ve istatistik ve imge geriçatımı problemlerine uygulanmış fakat otomatik öğrenme problemlerinde fazla irdelenmemiş olan MM (majorize-minimize) tekniğini esas alacağız. Proje yürütücüsünün doktora çalışmaları sırasında geliştirdiği karesel vekiller (paraboloidal surrogates) tekniğinin yüksek ölçekli öğrenme amaçlı olarak da kullanılabileceğini düşünmesi sonucunda, bu proje fikri ortaya çıkmıştır. Karesel vekiller tekniği de bir MM tekniğidir, dalında çok başarılı olmuştur ve yürütücünün bu konudaki yayınları 200’ün üzerinde atıf almıştır. Düzenlileştirilmiş ampirik risk enküçüklemesi problemindeki hedef fonksiyonuna teğet ve üzerinde olan bir karesel fonksiyonun döngülü biçimde minimizasyonuna dayanan bu metoda QMM (quadratic MM) diyebiliriz. Düşünülen algoritmaların bir kısmı ikili sınıflandırma için ön çalışma olarak denenmiş ve en gelişmiş tekniklerle (liblinear) yarışabilir derecede başarılı bulunmuştur. Geliştirilecek yazılımların açık kodlu olarak internet üzerinden akademik dünyaya açılması ve bunun global etkide bulunması beklenmektedir.
Projede hedef alınan yüksek ölçekli problemler aşağıda sıralanmıştır 1. İkili sınıflandırma 2. Çoklu sınıflandırma 3. Sınıflandırıcı birleşimi için çoklu sınıflandırma 4. Yapısal parametreli sınıflandırma, örneğin konuşma tanıma için eniyi filtreleme
Projede araştırılacak algoritma teknikleri aşağıda sıralanmıştır: 1. QMM üzerine koordinat iniş 2. QMM üzerine grup koordinat iniş 3. QMM ve dışbükeylik özelliği ile geliştirilecek ayrılabilir (separable) iniş 4. QMM üzerine eşlenik gradyan ile yaklaşık azaltım 5. Stokastik gradyan algoritmalarında ayrılabilir iniş metodu ile ikinci derece bilgi kullanımı
|