Sinir ağlarının benzersiz görselleştirmeleri: makine kod çözücüye karşı insan duyusal tanıma

özet: Yeni bir çalışma, derin sinir ağlarının gizemli dünyasını araştırıyor ve bu modellerin, insan duyu sistemlerine benzer nesneleri tanıyabildiğini ancak tanıma stratejilerinin insan algısından farklı olduğunu keşfediyor. Ağlardan belirli bir girdiye benzer uyaranlar üretmeleri istendiğinde, genellikle tanınmayan veya bozuk görüntü ve sesler üretirler.

Bu, sinir ağlarının, insanın algı kalıplarından tamamen farklı olan kendi farklı “sabitlerini” geliştirdiğini gösteriyor. Araştırma, insanın duyusal algılarını taklit eden modellerin değerlendirilmesine ilişkin bilgiler sağlıyor.

Ana unsurlar:

1. Derin sinir ağları, belirli bir girdiye benzer uyaranlar üretirken sıklıkla hedefle hiçbir benzerliği olmayan görüntüler veya sesler üretir.
2. Modeller, insanların algı sistemlerinden farklı, uyaranları insanlardan farklı algılamalarını sağlayan benzersiz sabitler geliştiriyor gibi görünüyor.
3. Rekabetçi eğitimin kullanılması, orijinal girdiyle aynı olmasa bile, model tarafından oluşturulan uyaranların insanlar tarafından daha tanınabilir olmasını sağlayabilir.

kaynak: Massachusetts Teknoloji Enstitüsü

İnsanın duyu sistemleri, gördüğümüz şeyleri veya duyduğumuz kelimeleri, nesne baş aşağı olsa veya kelime daha önce hiç duymadığımız bir sesle söylense bile tanıma konusunda çok iyidir.

Derin sinir ağları olarak bilinen bilgisayar modelleri, kürkünün rengine bakılmaksızın bir köpeğin görüntüsünü doğru bir şekilde tanımlayarak veya konuşmacının ses tonundan bağımsız olarak bir kelimeyi doğru şekilde tanımlayarak aynı şeyi yapmak üzere eğitilebilir. Ancak MIT’deki sinir bilimcilerin yaptığı yeni bir çalışma, bu modellerin hedeften farklı görüntülere veya kelimelere sıklıkla aynı şekilde yanıt verdiğini ortaya koyuyor.

Bu sinir ağları, bir ayının resmi gibi belirli bir doğal girdiyle aynı şekilde yanıt veren bir görüntü veya kelime üretmek için kullanıldığında, bunların çoğu, insan gözlemcilerin tanıyamayacağı görüntüler veya sesler üretti. Bu, bu modellerin kendi “değişmezlerini” oluşturduklarını, yani çok farklı özelliklere sahip uyaranlara aynı şekilde tepki verdiklerini gösteriyor.

MIT’de beyin ve bilişsel bilimler doçenti ve McGovern Beyin Araştırma Enstitüsü ve MIT Beyin Merkezi üyesi Josh McDermott, bulguların araştırmacılara bu modellerin insan duyu algısının organizasyonunu ne kadar iyi taklit ettiğini değerlendirmeleri için yeni bir yol sunduğunu söylüyor. . Zihinler ve makineler.

Çalışmanın baş yazarı McDermott, “Bu makale, bu modelleri, sonuçta modeldeki temsillerin teşhisine yol açacak anormal sinyalleri çıkarmak için kullanabileceğinizi gösteriyor” diyor. “Bu test, modelleri değerlendirmek için bir alan olarak kullandığımız bir dizi testin parçası haline gelmeli.”

Şu anda Flatiron Enstitüsü’nün Hesaplamalı Sinirbilim Merkezi’nde araştırma görevlisi olan Jenelle Feather Ph.D.’22, bugün yayınlanan açık erişimli makalenin baş yazarıdır. Normal sinirbilim. MIT’de yüksek lisans öğrencisi Guillaume Leclerc ve MIT’de Bilgisayar Tasarım Sistemleri Cadence Profesörü Alexandre Madry de makalenin yazarlarıdır.

Farklı algılar

Son yıllarda araştırmacılar, milyonlarca girdiyi (ses veya görüntü) analiz edebilen ve bir hedef kelimeyi veya nesneyi insanlarla aynı doğrulukla sınıflandırmalarına olanak tanıyan ortak özellikleri öğrenebilen derin sinir ağlarını eğitti. Bu modeller şu anda biyolojik duyu sistemlerinin önde gelen modelleri olarak kabul edilmektedir.

İnsan duyu sisteminin bu tür bir sınıflandırma yaptığında, nesnenin temel kimliğiyle ilgili olmayan, üzerine düşen ışık miktarı veya ona bakıldığı açı gibi özellikleri göz ardı etmeyi öğrendiği düşünülmektedir. Buna değişmezlik denir; bu, nesnelerin daha az önemli özelliklerde farklılıklar gösterseler bile aynı olarak algılanması anlamına gelir.

Feather, “Klasik olarak, duyusal sistemler hakkında düşünme şeklimiz, onların aynı şeyin farklı örneklerinin sahip olabileceği tüm çeşitlilik kaynakları için değişmezler oluşturmasıdır” diyor. “Organizma, tamamen farklı duyusal sinyaller olarak görünseler de bunların aynı şey olduğunu algılamalıdır.”

Araştırmacılar, sınıflandırma görevlerini gerçekleştirmek üzere eğitilmiş derin sinir ağlarının benzer değişmezler geliştirip geliştiremeyeceğini merak ettiler. Bu soruyu cevaplamaya çalışmak için, araştırmacıların modele sağladığı örnek uyaran olarak model içinde aynı türde tepkiyi üreten uyaranları oluşturmak için bu modelleri kullandılar.

Bir sistemden ayırt edilemeyen uyaranların sistemin sabitlerini teşhis etmek için kullanılabileceği klasik algı araştırmasındaki bir fikri yeniden canlandırarak bu uyaranlara “tipik önlemler” adını veriyorlar. Analoji kavramı ilk olarak insan algısının incelenmesi sırasında, farklı ışık dalga boylarından oluşmalarına rağmen aynı görünen renkleri tanımlamak için geliştirildi.

Araştırmacılar, şaşırtıcı bir şekilde, bu şekilde üretilen görüntü ve seslerin çoğunun, modellerin orijinal olarak sağladığı örneklere benzemediğini buldular. Görüntülerin çoğu rastgele görünen piksellerden oluşan bir karmakarışıktı ve sesler anlaşılmaz gürültü gibiydi. Araştırmacılar görüntüleri insan gözlemcilere gösterdiğinde çoğu durumda insanlar, modellerin sentezlediği görüntüleri orijinal hedef örnekle aynı kategoride sınıflandırmadı.

Feather, “Aslında insanlar tarafından tamamen tanınmıyorlar. Doğal görünmüyorlar veya kulağa hoş gelmiyorlar ve herhangi birinin bir nesneyi veya kelimeyi sınıflandırmak için kullanabileceği yorumlanabilir özelliklere sahip değiller” diyor.

Sonuçlar, modellerin bir şekilde insanın bilişsel sistemlerinde bulunanlardan farklı olan kendi sabitlerini geliştirdiklerini gösteriyor. Bu, modellerin insanlardan önemli ölçüde farklı olmasına rağmen uyaran çiftlerini aynı olarak algılamasına neden olur.

Hukuksal sabitler

Araştırmacılar aynı etkiyi birçok farklı görme ve işitme paradigmasında buldular. Ancak bu modellerin her birinin kendine özgü sabitleri geliştirdiği görülüyor. Bir modeldeki göstergeler başka bir modele sunulduğunda, ikinci modeldeki göstergeler insan gözlemciler için olduğu kadar tanınabilir değildi.

McDermott, “Bundan çıkan ana sonuç, bu modellerin karakteristik değişmezler dediğimiz şeye sahip olduğudur” diyor. “Belirli bir modele özgü olan uyaran alanının bu belirli boyutlarına göre değişmez olmayı öğrendiler, dolayısıyla diğer modeller aynı değişmezlere sahip değil.”

Araştırmacılar ayrıca, çekişmeli eğitim adı verilen bir yaklaşım kullanarak modelin ölçümlerini insanlar tarafından daha tanınabilir hale getirecek şekilde teşvik edebileceklerini de buldular. Bu yaklaşım başlangıçta nesne tanıma modellerinin başka bir sınırlamasıyla mücadele etmek için geliştirildi; bu, bir görüntüde küçük, neredeyse algılanamayacak değişiklikler yapmanın modelin onu yanlış tanımasına neden olabilmesidir.

Araştırmacılar, bu hafifçe değiştirilmiş görüntülerden bazılarını eğitim verilerine dahil etmeyi içeren rekabetçi eğitimin, metrikleri insanlar tarafından daha tanınabilir olan, ancak yine de orijinal uyaranlar kadar tanınabilir olmayan modeller ürettiğini buldu. Araştırmacılar bu gelişmenin, eğitimin modellerin düşmanca saldırılara direnme yeteneği üzerindeki etkisinden bağımsız göründüğünü söylüyor.

Feather, “Bu tür bir eğitimin büyük bir etkisi var, ancak bu etkinin neden olduğunu gerçekten bilmiyoruz” diyor. “Bu gelecekteki araştırmalar için bir alandır.”

Araştırmacılar, hesaplamalı modeller tarafından üretilen metrikleri analiz etmenin, bir hesaplamalı modelin insanın algısal sistemlerinin temel organizasyonunu ne kadar yakından taklit ettiğini değerlendirmeye yardımcı olacak yararlı bir araç olabileceğini söylüyor.

Feather, “Bu, sabitlerin model ile insan gözlemciler arasında paylaşılıp paylaşılmadığını görmek için belirli bir model üzerinde gerçekleştirebileceğiniz davranışsal bir testtir” diyor. “Ayrıca belirli bir modeldeki sabitlerin ne kadar spesifik olduğunu değerlendirmek için de kullanılabilir, bu da gelecekte modellerimizi iyileştirmenin potansiyel yollarını ortaya çıkarmaya yardımcı olabilir.”

Finansman: Ulusal Bilim Vakfı, Ulusal Sağlık Enstitüleri, Enerji Bakanlığı Hesaplamalı Bilimler Lisansüstü Bursu ve McGovern Enstitüsü Dostları Bursu araştırmayı finanse etti.

Yapay Zeka ve Bilişsel Araştırma Haberleri Hakkında

yazar: Sarah McDonnell
kaynak: Massachusetts Teknoloji Enstitüsü
iletişim: Sarah McDonnell – Massachusetts Teknoloji Enstitüsü
resim: Resim Neuroscience News’e atfedilmiştir

Orijinal arama: Açık Erişim.
“Tipik ölçüm araçları, biyolojik ve yapay sinir ağları arasında değişen değişmezleri ortaya çıkarır“Josh McDermott ve diğerleri tarafından. Doğal Sinirbilim

Özet

Tipik ölçüm araçları, biyolojik ve yapay sinir ağları arasında değişen değişmezleri ortaya çıkarır

Beyindekiler gibi değişmezliklere sahip temsili dönüşümleri öğrenmek için genellikle duyusal sistemlerin derin sinir ağı modelleri önerilmektedir. Bu değişmezleri ortaya çıkarmak için, model aşamasındaki aktivasyonları doğal uyarandakilerle eşleşen uyaranlardan oluşan “model uyaranları” yarattık.

Modern denetimli ve denetimsiz sinir ağı görme ve işitme modellerine yönelik araçlar, geç model aşamalarından oluşturulduklarında genellikle insanlar tarafından tamamen tanınamaz hale geldi ve bu, model ile insan değişmezleri arasındaki farkları akla getiriyor. Hedeflenen model değişiklikleri, model ölçüm araçlarının insan tarafından tanınmasını geliştirdi ancak genel insan-model farklılığını ortadan kaldırmadı.

Model metriklerinin insan tarafından tanınabilirliği, diğer modeller tarafından tanınabilirliği ile iyi bir şekilde tahmin edilmektedir; bu da modellerin, görevin gerektirdiği değişmezlere ek olarak farklı değişmezler içerdiğini düşündürmektedir.

Metamer tanınabilirliği, hem geleneksel beyin temelli hem de zayıf karşıt kriterlerden ayrıştırılarak mevcut duyusal modellerin farklı bir başarısızlık modunu ortaya çıkarır ve model değerlendirmesi için tamamlayıcı bir kriter sağlar.