Tarafından https://melaniemitchell.me
Taklitçi Mektup-String Analojileri
1980'lerin başında, Douglas Hofstadter benzetme yapmak için "Taklitçi" harf dizgisi alanını tanıttı. İşte bazı örnek analoji problemleri:
Eğer dize abc dizeye değişiklikler abd dize ne, pqr değişikliği?
Eğer dize abc dizeye değişiklikler abd dize ne, ppqqrr değişikliği?
Eğer dize abc dizeye değişiklikler abd dize ne, mrrjjj değişikliği?
Eğer dize abc dizeye değişiklikler abd dize ne, xyz değişikliği?
Dize Eğer axbxcx dize dönüşür abc , dize yapar xpxqxr değişikliği?
Bu "mikro dünyanın" amacı (o zamanlar adıyla anılırdı), genel olarak insanların yaptığı analoji türlerini modellemektir. Bir analoji problemindeki her dizge, nesneler, nitelikler, ilişkiler, gruplamalar ve eylemlerle minyatür bir "durumu" temsil eder. İddiaya göre, bu sorunların yanıtlarını bulmanın, roller arasındaki soyut rolleri ve uyuşmaları algılama, alakasız yönleri göz ardı etme ve bir durumun özünü farklı bir durumla eşleştirme gibi daha genel analoji yapma mekanizmalarından en azından bazılarını içerdiği iddia edildi. . Kitabının 24.Bölümündehttps://www.amazon.com/Metamagical-Themas-Questing-Essence-Pattern/dp/0465045669, Hofstadter insan analojisinin uzun ve keskin bir analizini ve Taklitçi alanlarının bunun bazı temel yönlerini nasıl yakaladığını yazdı. Harf dizisi alanı aldatıcı bir şekilde basittir - bu sorunlar, soyut benzerliği tanımada çok çeşitli karmaşık sorunları yakalayabilir. Hofstadter ve öğrencileri (ben de aralarında), bazıları olağanüstü derecede ince olan binlerce farklı harf dizisi analojisi buldular. Küçük bir örnek koleksiyonu verilmiştirhttps://melaniemitchell.me/ExplorationsContent/analogy-problems.html.
Taklitçi Programı
1983'te MIT'de Douglas Hofstadter için araştırma asistanı olarak çalışmaya başladım. 1984'te onu Michigan Üniversitesi'ne kadar takip ettim ve orada yüksek lisansa başladım. Doktora projem, harf-dizi analoji problemlerini bilişsel olarak makul bir şekilde çözebilecek bir program ( doğal olarak Copycat olarak adlandırılır) uygulamaktı . Amaç, kendi başına bir harf dizgisi analoji çözücü inşa etmek değil , analoji yapmanın bazı genel mekanizmalarını uygulayan bir mimari geliştirmek ve bunu harf dizgisi problemleri üzerinde test etmekti. Bu programın ayrıntılarını burada açıklamayacağım. Yazdımhttps://mitpress.mit.edu/books/analogy-making-perceptionve ayrıca Hofstadter ve ben bir https://melaniemitchell.me/PapersContent/HofstadterMitchellCopycat1995.pdfmimariyi, insan algısı ve analoji kurma teorileriyle olan bağlantılarını ve elde ettiğimiz sonuçları detaylandırıyor. Sonunda, program çok çeşitli harf-dizgi analojilerini çözmeyi başardı (ancak bu, insanların bu alanda yapabileceklerinden çok uzaktı). Ayrıca, insanlardan bu sorunları çözmelerini isteyen kapsamlı anketler yaptım ve programın yanıtlar için tercihlerinin anket yaptığım kişilerinkilerle büyük ölçüde eşleştiğini gördüm. Daha sonra, Jim Marshall (başka bir Hofstadter öğrencisi) programımıhttp://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.55.3688&rep=rep1&type=pdf, daha geniş bir dizi harf dizgisi problemini çözebilen ve kendi problem çözme sürecini gözlemleyebilen (dolayısıyla adındaki “meta”). Hofstadter'in araştırma grubundan ilgili mimarileri kullanan diğer projeler Hofstadter'ın kitabında anlatılmıştır.https://www.amazon.com/Fluid-Concepts-Creative-Analogies-Fundamental/dp/0465024750.
GPT-3
GPT-3 ("Üretken Önceden Eğitilmiş Transformatör 3) bir dil modelidir - bir giriş metni verildiğinde, sonraki sözcüğü veya sözcükleri tahmin etmek için eğitilen bir programdır. GPT-3, Wikipedia gibi binlerce web sitesinden, çevrimiçi kitaplardan ve diğer birçok kaynaktan alınan yaklaşık 45 terabayt metin verisi üzerinde eğitilmiş bu tür en büyük modellerden biridir . GPT-3,
teknik bir belgede açıklanan derin sinir ağı "dönüştürücü" mimarisini kullanır.https://arxiv.org/abs/2005.14165 yaratıcıları tarafından şurada yazılmıştır: https://openai.com. ( GPT-3'ün öncülü olan GPT-2'ye odaklanan dil modelleri hakkında teknik olmayan bir makale yazdım .)
GPT-3 ile etkileşime geçmek için, ona bir "bilgi istemi", yani bir miktar metin verirsiniz ve bu, isteminizin bir devamını oluşturur. Örneğin, aşağıdaki istemi verdim:
S: Şimdiye kadar yapılmış en iyi korku filmi nedir?
GPT-3 sorumu yanıtladı ve sonra kendi iki sorusunu daha sordu ve cevapladı (oluşturulan metni italik olarak yazdım):
C: The Exorcist.
S: En iyi korku oyuncusu kim?
C: Boris Karloff.
S: En iyi korku oyuncusu kim?
A: Fay Wray
Birçok https://www.gwern.net/GPT-3 ve https://twitter.com/AmandaAskell/status/1288539453015724032GPT-3'ün olağanüstü insan benzeri metninden, görünüşte sonsuz (çoğunlukla Batı) kültür bilgisine ve hatta sadece birkaç girdi-çıktı örneği verilerek bilgisayar programları yaratma yeteneğine örnekler verdiler. Bu makaledeki amacım, GPT-3'teki başarıyı, aldatmacayı veya karşı hype'ı gözden geçirmek değil. Bunun yerine, Taklitçi harf-dizi benzetmeleri yapma yeteneğini keşfetmek istiyorum.
GPT-3 ve Harf-String Analojileri
OpenAI cömertçe bana https://openai.com/blog/openai-api/(yani, web arayüzü) ve hemen birkaç Copycat analoji problemi üzerinde denedim. Bunu, programa şu tür bir uyarı vererek yaptım:
GPT-3'ü bunun gibi çeşitli problemlerde değişen sayıda örnekle denedim ve korkunç bir şekilde işlediğini gördüm. Neşeylehttps://twitter.com/MelMitchell1/status/1285267030631829506Birkaç kişi bana GPT-3'ün girdisini yorumlama şekli nedeniyle dizelerdeki harfler arasına boşluk koymam gerektiğini bildirdi. Bunu denedim:
Aniden, GPT-3 doğru cevapları veriyordu! benhttps://twitter.com/MelMitchell1/status/1285270704313610241 bu sonuçlar, şaka bir yana, "Taklitçi tost."
Şaşırtıcı bir şekilde, birkaç tanınmış Twitter kullanıcısı, resmi olmayan deneylerimi GPT-3'ün insan benzeri bilişsel yeteneklere sahip olduğunu gösterdiğinden bahsetti. Bir kişihttps://twitter.com/SimonDeDeo/status/1289372993530060800“@ MelMitchell1'in taklit deneyleri beni önemli ölçüde duraklattı. Bunlar, makinenin anında konseptler geliştirdiği durumlar gibi görünüyor. " Başka kişihttps://twitter.com/gwern/status/1289307309580009472, "GPT-3, Copycat'i kutudan çıkarır."
Bu tür sonuçlar, Twitter'da yayınladığım dağınık testler tarafından hiçbir şekilde haklı gösterilmedi, bu yüzden GPT-3'e daha sistematik bir test vermeye karar verdim.
Metodoloji
Aşağıda yaptığım daha kapsamlı ve sistematik deneylerin sonuçlarını vereceğim. GPT-3 stokastiktir; belirli bir uyarı verildiğinde, her zaman aynı yanıtı vermez. Bu stokastisiteyi hesaba katmak için, her soruyu beş ayrı kez ("denemeler") verdim ve yanıtı kaydettim. Her denemeden önce, sistemin kullanmış olabileceği önceki denemelerin hafızasını temizlemek için web sitesini yeniledim.
GPT-3'ün API'sinin ayarlanması gereken bazı parametrelere sahiptir: sistemin yanıtlarını oluştururken ne kadar rasgelelik kullandığını etkileyen bir sıcaklık (0,7 varsayılan değerini kullandım) ve yaklaşık olarak "kelime sayısını veren yanıt uzunluğu" "Sistem bir komut istemine yanıt olarak üretecek (genellikle 16 kullandım, ancak bu parametrenin analoji sorularıma verilen yanıtları gerçekten etkilediğini sanmıyorum.) Yalnızca yanıtın ilk satırını kaydettim (bu genellikle “A: [harf dizesi]); Oluşturduğu diğer satırları görmezden geldim. Örneğin, tipik bir deneyin ekran görüntüsü (kalın yazı karakteri, GPT-3 yanıtı Roma yüzünde):
Bunun için ijl cevabını kaydeder ve oluşturulan metnin geri kalanını göz ardı ederdim (çoğunlukla GPT-3, komutun modelini takip etmek için ek bir analoji sorusunun başlangıcını oluşturuyordu).
Sonraki bölümler sayısız deneyimin tüm sonuçlarını veriyor. Bu sonuçlar oldukça uzun olduğu için, onları gözden geçirip sondaki Sonuçlar bölümüne atlamak isteyebilirsiniz. Öte yandan, benim gibi bir benzetme ineği iseniz, detayları oldukça ilginç bulabilirsiniz.
Deney 1: Basit alfabetik diziler
İnsanların tercih ettiği cevap: pqs
GPT-3'ün cevapları (bazen bir harf dizisi cevabı vermedi; bunları görmezden geldim).
Genel olarak, GPT-3'ün bu alanda sıfır atış benzetme yapamayacağını buldum.
2. Sonra, ona bir “eğitim örneği” verdim - yani çözülmüş bir analoji problemi.
Komut istemi:
GPT-3 her denemede ijl'yi yanıtladı ! Tek seferde öğrenme bu problem için işe yarıyor gibi görünüyor.
3. GPT-3'ün farklı uzunluklardaki dizelere genelleme yapıp yapamayacağını görmeye çalışalım.
Komut istemi:
İnsanlar kolaylıkla genelleme yapacak ve ijkl n'ye cevap verecektir.
GPT-3'ün cevapları:
Bu nedenle, yalnızca bir eğitim örneğiyle, GPT-3 daha uzun dizeye genelleme yapamaz.
4. Tamam, ona farklı uzunluklarda iki eğitim örneği verelim.
Komut istemi:
İnsanlar alfabeyi hatırlarlarsa, rstuv x cevabını verirler.
GPT-3 bu yanıtı hiçbir zaman alamadı; işte beş denemesinin cevapları:
İki eğitim örneğiyle bile, GPT-3 daha uzun diziye genelleme yapamaz.
5. Cömert olalım ve ona farklı uzunluklarda üç eğitim örneği verelim .
Komut istemi:
Cevap efghij l arıyoruz.
Ve gerçekten de, şimdi GPT-3 beş denemede de efghijl yanıtı veriyor !
Deney 2: Gruplandırmalı alfabetik diziler
1. Harfleri gruplandırmayı gerektiren sıfır atış deneyini deneyelim:
Komut istemi:
İnsanlar neredeyse her zaman iijjll diyeceklerdir .
GPT-3'ün beş denemesinde yanıt hiçbir zaman bir harf dizisi dizisi olmadı. Bir denemede, GPT-3 eğlenceli bir şekilde "Bu hileli bir soru" cevabını verdi. Aslında.
2. GPT-3'e bir örnek vermeyi deneyelim.
Komut istemi:
Bu yeterliydi: GPT-3 her denemede mmnnpp döndürür .
3. Peki ya GPT-3'ten farklı uzunlukta bir dizeye genelleme yapmasını istersek?
Komut istemi:
GPT-3'ün cevapları:
Çok güvenilir değil; beş denemeden ikisinde insan tarafından tercih edilen qqrrssuu cevabını alıyor .
4. İki örnekle deneyelim.
Komut istemi:
GPT-3'ün cevapları:
Yine, güvenilir değil; insan tarafından tercih edilen cevap, eeffgghhjj , beş denemede yalnızca bir kez iade edildi.
5. GPT-3'e üç örnek vermeye ne dersiniz?
Komut istemi:
GPT-3'ün cevapları:
Rrrrssssuuuu'nun insan tarafından tercih edilen cevabını bir kez bile döndürmedi . Kesinlikle burada genelleme yapmakta zorlanıyor.
Deney 3: Bir Dizeyi "Temizleme"
Harf dizgisi alanındaki bir başka soyut kavram, bir dizgiyi "temizleme" kavramıdır.
1. Burada GPT-3'e bir örnek verdim.
Komut istemi:
GPT-3 bunu beş denemeden üçünde doğru yaptı. İşte cevapları:
2. Bunu iki örnekle deneyelim.
Komut istemi:
GPT-3, beş denemenin hepsinde xyz'i yanıtlayarak bunu çiviledi .
3. Şimdi, "bir dizeyi temizleme" nin daha zorlu bir versiyonu. GPT-3'e iki örnek vererek başlayacağız.
Komut istemi:
Çoğu insan mnop'a cevap verirdi .
GPT-3, beş denemede bir bu yanıtı verdi. İşte cevapları:
4. Bunu üç örnekle tekrar deneyelim.
Komut istemi:
GPT-3 bu sefer daha iyi yaptı ve beş denemeden dördünde jklmn "doğru" cevabı aldı (bir denemede jlmn olarak yanıt verdi ).
5. Son olarak, kaldırılacak karakterin (burada "x") hedef dizenin başında olduğu bir örneği denedim.
Komut istemi:
GPT-3 bunu hiç anlamadı; beş denemede de xijk'e yanıt verdi .
Deney 4: Soyut "haleflik" örneklerini içeren analojiler
Bu deneylerde, çeşitli soyut ardıllık kavramlarını içeren birkaç analojiye bakıyoruz.
1. Öncelikle GPT-3'ün harf halefinden soyut “sayı” halefine genelleme yapıp yapamayacağını görürüz.
Komut istemi:
Bazen insanlar için bunu keşfetmesi zor olsa da, bir kez belirtildiğinde, insanlar jyyqqqq cevabını tercih etme eğilimindedir , yani 1–2–3 sayı dizisi 1–2–4 olarak değişir.
GPT-3 bu yanıtı asla almaz. İşte yanıtları.
Bu genelleme GPT-3'ün yeteneklerinin ötesinde görünüyor.
2. Soyut bir sayısal dizi oluşturmaya ne dersiniz?
Komut istemi:
Burada boocccvvvv'yi (1–2–3–4) arıyoruz
GPT-3'ün cevapları:
GPT-3 bu kavramı anlamıyor gibi görünüyor. Bunu ek bir örnekle de denedim, ancak GPT-3 hala analojide gösterilen "sayı dizisi" türüyle yanıt vermedi.
3. Farklı bir tür soyut “halefiyet” deneyelim.
Komut istemi:
Buradaki fikir, hedef dizgeyi s - st - stu olarak çözümlemektir . En sağdaki dizinin “halefi” stuv olduğundan, sststuv yanıtını arıyoruz (“en sağdaki öğeyi halefiyle değiştirin”).
GPT-3 bunu aldı: her denemede sststuv'a yanıt verdi .
4. Ama aklımızdaki kavramı gerçekten aldı mı? Bunu, farklı uzunlukta bir hedef dizgeye genelleyip genelleştiremeyeceğini görerek test edelim.
Komut istemi:
Aradığımız cevap eefefgefghi .
GPT-3 bu yanıtı beş denemeden dördünde aldı (bir denemede eefefghi'ye yanıt verdi ). Oldukça iyi!
Deney 5: Halefi olmayan bir mektup
Son bir deney olarak, "z" nin halefini almaya çalıştığımız problemlere bakalım.
1. Aldatıcı derecede basit bir problem.
Komut istemi:
Çoğu insan xya diyecek . Bu yanıt, orijinal Copycat programı için mevcut değildi ("dairesel" alfabe konseptine sahip değildi) ve xyy gibi yanıtlar verecekti ; wyz ; veya xyy . Neyse ki, Taklitçi mantığını bir dereceye kadar açıklayabildi (daha fazla ayrıntı için yukarıdaki referanslara bakın).
Bunda, GPT-3 haritanın her yerinde.
GPT-3'ün cevapları:
2. Birine daha bakalım.
Komut istemi:
GPT-3 , beş denemeden dördünde makul xyza'ya yanıt verdi (bir denemede xyzaa yanıtını verdi ).
Sonuçlar
GPT-3'ü, farklı soyut benzerlik türlerine odaklanan bir dizi harf-dizgi analoji problemi üzerinde test ettim. Programın performansı karışıktı. GPT-3, kendi başına analojiler yapmak için tasarlanmamıştır ve çoğu durumda iyi bir şekilde genelleme yapamasa da, bu sorunların bazılarında makul derecede iyi performans gösterebilmesi şaşırtıcıdır. Dahası, başarılı olduğunda, bunu ancak bazı “eğitim örnekleri” gösterildikten sonra yapar. Bana göre bu, belki de insan bilişindeki tek “sıfır vuruşlu öğrenme” mekanizması olan analoji yapmanın amacını ortadan kaldırıyor - yani, bir durum hakkında sahip olduğunuz bilgiyi yeni bir duruma uyarlarsınız. Siz (sanırım bir insan), analoji örneklerini inceleyerek analoji yapmayı öğrenmiyorsunuz; sadece onları yaparsın. Her zaman. Çoğu zaman benzetmeler yaptığının farkında bile değilsin. (Buna ikna olmadıysanız, Douglas Hofstadter ve Emmanuel Sander'in harika kitabını okumanızı tavsiye ederim.https://www.amazon.com/Surfaces-Essences-Analogy-Fuel-Thinking/dp/0465018475/.)
Yukarıda anlattıklarım gibi eğitim örnekleri sağlama zorunluluğuyla ilgili sorunlardan biri, GPT-3'ün gerçekten
bir benzetme yapıp yapmadığını veya hedef dizelerdeki kalıpları kopyalayıp kopyalamadığını söylemenin zor olmasıdır
(ör. " String1 değişirse için dize2 ait”parçalar
istemi). Bunu test etmedim ama bunu yapmak ilginç olurdu.
Sonuç olarak, GPT-3'ün performansı genellikle etkileyici ve şaşırtıcıdır, ancak aynı
zamanda günümüzün son teknoloji yapay zeka
sistemlerinde
gördüklerimizin çoğuna da benzer: insanlık dışı hatalarla serpiştirilmiş etkileyici, akıllı görünen performans , artı neden iyi performans gösterdiğine
veya belirli hatalar yaptığına dair şeffaflık yok . Ve sistemin
öğretmeye çalıştığımız kavramı gerçekten öğrenip öğrenmediğini söylemek genellikle zordur .
Başlıktaki soru için kesin bir cevabım yok -
GPT-3 benzerlikler yapabilir mi? Bazı durumlarda, benzetmeler
yapıyor gibi görünüyor, ancak insan benzetme veya
kavramsal soyutlama gibi bir şey yaptığını sanmıyorum . Benim sezgim,
analoji üzerinde güçlü insan benzeri performans elde etmek için ,
GPT-3 tarafından alınan istatistiksel dil modeli yaklaşımından oldukça farklı bir şeye ihtiyaç duyulduğudur .
Bu tür denemelerde her zamanki gibi, soruyu GPT-3'ün kendisine sorarak bitireceğim:
Bilgi istemi: GPT-3 gibi bir dil modeli analoji yapabilir mi?
GPT-3: Google'ın analoji yapabilen ve bunu oldukça iyi yapan bir dil modeli yapmak için kodu kırdığı haberi karışık tepkilerle karşılandı. Bir yandan, doğal dil işleme ve yapay zeka alanında büyük bir atılımdır. Öte yandan, bunun dille ne ilgisi olduğunu anlamak zor.
Touché!
Not: Sık sorulan bazı soruların cevaplarıyla birlikte bu makalenin kısa bir takibini yazdım .
Bugün OpenAI (GPT-3) ile oynuyordum ve bir müşteri için oldukça karmaşık bir e-posta çözümleyici oluşturuyordum. AI'nın yanıtıyla çalışırken sorunlarla karşılaşıyordum.
GPT-3 ile sohbet botları oluşturmaya kısa bir giriş ChatGPT geçen ay patladı ve sadece bir hafta içinde bir milyon kullanıcı kazandı. Çılgınca olan şey, temel model olan GPT-3'ün 2020'de piyasaya sürülmesi ve bir yıldan uzun bir süre önce genel erişim için piyasaya sürülmesidir! GPT-3'ün ilk sürümleri mevcut GPT-3 kadar gelişmiş değildi.
Önceki blog gönderimde, günümüzün makine öğrenimi ekosisteminde kalite ve güvenin ne kadar büyük zorluklar olduğunu anlattım. Okumaya fırsat bulamadıysanız, bu yazıya geçmeden önce okumanızı şiddetle tavsiye ederim.
Medya, Ex Machina ve I, Robot gibi bilimkurgu filmleri ve Elon Musk gibi birkaç açık sözlü vizyon sahibi sayesinde, çoğu insan artık Yapay Zeka (AI), çeşitli alt kümeleri ve potansiyelleri hakkında en azından temel bir anlayışa sahip. uygulamalar. Peki ya Ambient Intelligence (AmI) - bunu duydunuz mu? Endişelenmeyin, bu yeni ortaya çıkan alan bu noktada on yıldan fazla bir süredir etrafta olmasına rağmen çok az kişi var.
Yapay Zeka (AI) algoritmaları, özellikle eğlence ve sosyal medyanın en popüler ürünlerinden bazılarında istihdam edilmesiyle ya da başarılı bir şekilde araba kullanabildikleri için popüler hale geldiğinden, daha önce hiç olmadığı kadar halkın incelemesine girdi. Elon Musk veya Steven Hawking gibi yapay zeka hakkında konuşan ünlü bilim adamlarının, algoritmalara hayatımızın belirli yönlerine izin vermenin etik sonuçlarını ve kariyerlerinin işe yarayıp yaramadığını merak eden ünlü bilim adamlarının etkisi altında her türden insanın şüphesi yok. yeni teknolojinin yerini alma riski.
Makine öğrenimi ve benzer teknolojilerin ekonomi üzerindeki etkisini tartan tartışmada, dünyanın uzmanları büyük ölçüde iki kampa bölünmüş durumda. İyimserler olarak adlandıracağımız bir kamp, bu dijital devrimin, geçmişin teknolojik çalkantıları gibi ekonomiyi rayından çıkarmayacağını ve işsizlik oranlarının sonsuza dek pandemik seviyelere fırlamasına neden olmayacağını düşünüyor.