Microsoft, bir resmin içeriğini tanımlamaya çalışan bir resim tanıma aracı başlattı. Bu yapay zeka aracı hala geliştirme aşamasında ve sürekli kullanıcılar tarafından yüklenen resimlerden öğreniyor.

Doğruluk ile ilgili olarak, bazen açıklama oldukça doğrudur; bazen CaptionBot, tasvir edilenle ilgisi olmayan açıklamalar sunar. Ayrıca, kenarların kabaca durumuna bağlı olarak, uygulamanın hiçbir şekilde açıklama sağlayamadığı durumlar da vardır.

Microsoft, CaptionBot'u daha fazla deneyim ile, zaman içinde altyazılarının daha doğru hale geleceği beklentisi ile öğrenmek için tasarladı. Kullanıcılar ne kadar çok resim yüklerse, CaptionBot'un kendisi tarafından anlatıldığı gibi uygulama o kadar iyi olur:

Herhangi bir görüntünün içeriğini anlayabilirim ve onu herhangi bir insan olarak tanımlamaya çalışacağım. Hala öğreniyorum bu yüzden senin fotoğrafını tutacağım ama kişisel bir bilgim yok.

CaptionBot, resimde gösterilenleri tanımlamak için üç teknolojiyi kullanır: Microsoft'un Bilgisayar Görme, Duygu ve Bing Görüntüsü. Computer Vision API, bir görüntüden metin tanımlamanın ve çıkarmanın yanı sıra görsel verileri kategorilere ayırmak ve işlemek için resimlerden zengin bilgiler çıkarır. Adından da anlaşılacağı gibi, Emotion API, bir dizi duygu algılamak için yüzleri analiz eder; öfke, hor, iğrenme, korku, mutluluk, tarafsızlık, üzüntü ve sürprizden her şeyi. Bing Image webde görüntüler arar.

CaptionBot'u test ettik ve sonuçlar vakaların% 50'sinde doğru çıktı. Örneğin, iki resim yükledik: biri oyun faresini, diğeri kart destesini gösteren resim. Her iki durumda da, araç bir cep telefonu olduğunu öne sürdü. Öte yandan, CaptionBot insanları ve yüzleri doğru bir şekilde tespit etti.

Görünüşe göre, CaptionBot cep telefonları ile ilgili bir saplantı var. Bir Twitter kullanıcısı, uygulamanın Michelle Obama'nın bir cep telefonu olduğunu düşündüğünü bildirdi. Daha fazla CaptionBot komik resim yazısı için bu Twitter sayfasına göz atın.

Ayrıca CaptionBot'u burada test edebilirsiniz. Bir deneyin: aracın gelişmesine yardımcı olacaksınız veya iyi bir kahkaha atacaksınız!