In the age of technoolgy, artificial intelligence has gradually made its way into multiple areas of life with abilities that are often on a par with or surpass those of people. On the contrary, a study published in the journal iScience finds that AI-powered machines have trouble recognizing objects from their overall shapes when aspects of an image are distorted. The findings offer a new way to evaluate and compare computer vision with that of people.
Every day, we effortlessly recognize people we know in a crowd or identify familiar shapes even if they are partly hidden. Our brains piece together fragments into whole objects, filling in the blanks to make sense of an often chaotic world. This ability is called "contour integration" and is something even the smartest AI systems still find difficult to do. Despite the remarkable achievements of artificial intelligence in image recognition, AI models still struggle to generalize from incomplete or broken visual information. When objects are partly hidden, erased, or broken into fragments, most AI models falter, misclassify, or give up. This can be a serious problem in real life, given our increasing reliance on AI for real-world applications such as self-driving cars, prosthetics, and robotics, giving us second thoughts about safety and accuracy.
The EPFL NeuroAI Lab, led by Martin Schrimpf, set out to systematically compare how people and AI handle visual puzzles. Ben Lönnqvist, an EDNE graduate student and lead author of the study, collaborated with Michael Herzog's Laboratory of Psychophysics to develop a series of recognition tests where both humans and more than 1,000 Artificial Neural Networks had to identify objects with missing or fragmented outlines. Their results show that when it comes to contour integration, humans consistently outperform AI, and why. The team set up a lab-based object recognition test with 50 volunteers. The participants viewed images of everyday items such as cups, hats, pans, etc., whose outlines were systematically erased or broken up into segments. Sometimes, only 35% of an object's contours remained visible. In parallel, the team gave the same task to more than 1,000 AI models, including some of the most powerful systems available. The experiment covered 20 different conditions, varying the type and amount of visual information. The team compared performance across these conditions, measuring accuracy and analyzing how both humans and machines responded to increasingly difficult visual puzzles. Humans performed exceptionally well, often scoring 50% accuracy even when most of an object's outline was missing. AI models, by contrast, tended to collapse to making random guesses under the same circumstances. Only models trained on billions of images came close to human-like performance—and even then they had to be specifically adapted to the study's images.
Digging deeper, the researchers found that humans show a natural preference for recognizing objects when fragmented parts point in the same direction, which the team referred to as "integration bias." AI models that were trained to develop a similar bias performed better when challenged with image distortions. Training AI systems specifically designed for integrating contours boosted their accuracy and also made them focus more on an object's shape, rather than surface texture.
These results suggest that contour integration is not a hardwired trait but instead, it can be learned from experience. For industries that rely on computer vision, such as self-driving cars or medical imagining, building AI that sees the world more like we do could mean safer, more reliable technology. The work also shows that the best way to close the gap isn't by tinkering with AI architecture, but by giving machines a more "human-like" visual diet, including multiple real-world images where objects are often partly hidden.
References: techxplore.com, iScience, actu.epfl.ch
Read in Turkish
Yapay Zeka Modelleri Nesneleri Tanımada İnsanlar Kadar İyi Mi?
Teknoloji çağında yapay zeka; genellikle insanların yetenekleriyle boy ölçüşen veya onları geride bırakan kabiliyetleriyle, hayatın birçok alanına yavaş yavaş entegre olmaya başladı. Bunun aksine, iScience dergisinde yayımlanan bir araştırma, yapay zeka destekli makinelerin bir görüntünün bazı unsurları bozulduğunda nesneleri genel şekillerinden tanımakta zorlandığını ortaya koyuyor. Bu bulgular, bilgisayar görüşünü insanlarınkiyle değerlendirmek ve karşılaştırmak için yeni bir yol sunuyor.
Günlük hayatımızda, kalabalık bir gruptaki tanıdığımız insanları zahmetsizce fark ederiz veya kısmen gizlenmiş olsalar bile tanıdık şekilleri algılayabiliriz. Beynimiz, genellikle kaotik bir dünyayı anlamlandırmak için parçaları bütün nesneler halinde birleştirir ve eksik kısımları kendiliğinden tamamlar. "Kontür entegrasyonu" adı verilen bu özellik, en akıllı yapay zeka sistemlerinin bile hala yaparken zorlandığı bir şeydir. Yapay zekanın görüntü tanıma alanındaki dikkat çekici başarılarına rağmen, yapay zeka modelleri hâlâ eksik veya parçalanmış görsel bilgilerden genelleme yapmakta güçlük çekmektedir. Nesneler kısmen gizlendiğinde, silindiğinde veya parçalara ayrıldığında çoğu yapay zeka modeli bocalıyor, yanlış sınıflandırma yapıyor veya pes ediyor. Otonom araçlar, protezler ve robotik gibi gerçek dünya uygulamalarında yapay zekaya olan güvenimizin arttığı göz önüne alındığında, bu durum güvenlik ve doğruluk konusunda bizi şüpheye düşürerek gerçek hayatta ciddi bir sorun teşkil edebilir.
Martin Schrimpf liderliğindeki EPFL NeuroAI Laboratuvarı, insanların ve yapay zekanın görsel bulmacalarla nasıl başa çıktığını sistematik olarak karşılaştırmak yola çıktı. Bir EDNE yüksek lisans öğrencisi ve çalışmanın baş yazarı olan Ben Lönnqvist, hem insanların hem de 1.000'den fazla Yapay Sinir Ağının eksik veya parçalanmış dış hatlara sahip nesneleri tanımlamak zorunda kaldığı bir dizi tanıma testi geliştirmek için Michael Herzog'un Psikofizik Laboratuvarı ile iş birliği yaptı. Sonuçları, kontur entegrasyonu söz konusu olduğunda insanların yapay zekayı tutarlı bir şekilde geride bıraktığını ve bunun nedenini gösteriyor. Ekip, 50 gönüllünün katılımıyla laboratuvar ortamında bir nesne tanıma testi ayarladı. Katılımcılar; dış hatları sistematik olarak silinmiş veya parçalara ayrılmış fincan, şapka, tava gibi günlük eşyaların resimlerini incelediler. Bazen bir nesnenin konturlarından yalnızca %35'i görünür durumda kalıyordu. Buna paralel olarak ekip, aynı görevi mevcut en güçlü sistemlerden bazıları dahil olmak üzere 1.000'den fazla yapay zeka modeline verdi. Deney, görsel bilginin türünü ve miktarını değiştirerek 20 farklı koşulu kapsadı. Ekip, performansları bu koşullar altında karşılaştırdı; doğruluğu ölçtü ve hem insanların hem de makinelerin giderek zorlaşan görsel bulmacalara nasıl tepki verdiğini analiz etti. İnsanlar olağanüstü derecede iyi bir performans sergiledi, hatta bir nesnenin dış hatlarının çoğunun eksik olduğu durumlarda bile genellikle %50 doğruluk oranına ulaştı. Buna karşılık yapay zeka modelleri, aynı koşullar altında rastgele tahminlerde bulunma eğilimi gösterdi. Yalnızca milyarlarca görüntüyle eğitilmiş modeller insan benzeri performansa yaklaşabildi —ve bu durumda bile çalışmanın görüntüleri için özel olarak uyarlanmaları gerekiyordu.
Daha derine inen araştırmacılar, insanların parçalanmış kısımlar aynı yöne işaret ettiğinde nesneleri tanımaya karşı doğal bir eğilim gösterdiğini buldu; ekip bunu "entegrasyon yanlılığı (eğilimi)" olarak adlandırdı. Benzer bir eğilim geliştirmek üzere eğitilmiş yapay zeka modelleri, görüntü bozulmalarıyla meydan okunduğunda daha iyi performans gösterdi. Konturları entegre etmek için özel olarak tasarlanmış yapay zeka sistemlerinin eğitilmesi, onların doğruluğunu artırdı ve aynı zamanda yüzey dokusundan ziyade bir nesnenin şekline daha fazla odaklanmalarını sağladı.
Bu sonuçlar, kontur entegrasyonunun doğuştan gelen bir özellik olmadığını, bunun yerine deneyim yoluyla öğrenilebileceğini düşündürmektedir. Otonom araçlar veya tıbbi görüntüleme gibi bilgisayar görüşüne güvenen endüstriler için dünyayı insanlarla daha benzer şekilde gören bir yapay zeka inşa etmek, daha güvenli bir teknoloji anlamına gelebilir. Çalışma aynı zamanda aradaki farkı kapatmanın en iyi yolunun yapay zeka mimarisiyle oynamak değil, makinelere nesnelerin genellikle kısmen gizlendiği çok sayıda gerçek dünya görüntüsü de dahil olmak üzere daha "insan benzeri" bir görsel beslenme sunmak olduğunu gösteriyor.
Kaynakça: techxplore.com, iScience, actu.epfl.ch
