Inteligencja sztuczny dziś jest na ustach wszystkich. Do tej pory wiemy, jak z tego korzystać: wystarczy uzyskać dostęp do Internetu i korzystać z platform takich jak ChatGPT, Dall-E i Synthesia. W związku z tym przygotowujemy ciekawy artykuł o 10 stronach internetowych, które wykorzystują sztuczną inteligencję do robienia bardzo różnych rzeczy. Ale powiedziawszy to, weźmy przykład najczęściej używanej sztucznej inteligencji. Jak się urodził? jak doszliśmy do wersji, z której wszyscy możemy dziś korzystać za darmo?
Dziś wielu z nas korzysta z ChatGPT, ale nie wszyscy wiedzą, co za tym stoi i jak się tam dostaliśmy. Oto kalendarium od lat 80. do dzisiaj
Zacznijmy od lat 80.: Rekurencyjne sieci neuronowe
ChatGPT to wersja GPT-3, bardzo dużego modelu językowego opracowanego przez OpenAI. Modele językowe są rodzajem sieć neuronowa który został przeszkolony w zakresie bardzo wielu tekstów. Sieci neuronowe to oprogramowanie inspirowane sposobem, w jaki neurony w ludzkich mózgach komunikują się ze sobą. Ponieważ każdy tekst składa się z sekwencji liter i słów o różnej długości, modele językowe wymagają rodzaju sieci neuronowej zdolnej do zrozumienia tego typu danych. Rekurencyjne sieci neuronowe (Powtarzające się sieci neuronowe) wynalezione w latach 80. XX wieku, radzą sobie z sekwencjami słów, ale są powolne w nauce i mogą zapomnieć wcześniej nauczone słowa w sekwencji. LSTM mogły obsługiwać ciągi tekstowe składające się z kilkuset słów, ale ich możliwości językowe były ograniczone. Czym są? Akronim dla „Pamięć długotrwała krótkotrwała„lub”pamięć długoterminowa” to sztuczna sieć neuronowa wykorzystywana w dziedzinach sztucznej inteligencji
Zobacz także: Google potwierdza zgodność treści generowanych przez Chatbota i AI
2017: rok przełomu w sztucznej inteligencji z Transformersami
Przełom, który doprowadził do powstania obecnej generacji dużych modeli językowych, nastąpił, gdy zespół naukowców z Google wynalazł tzw Transformatory, rodzaj sieci neuronowej, która może śledzić, gdzie każde słowo lub fraza pojawia się w sekwencji. Przekonasz się sam, że największy problem LSTM został przezwyciężony. Ale jak to zrobili? Koncepcja lingwistyki stosowanej wkracza do technologii. Znaczenie słowa często zależy od znaczenia innych słów, które go poprzedzają lub po nim następują. Śledzenie tych Informacja kontekstowa, Transformers może obsłużyć dłuższe ciągi tekstu i dokładniej uchwycić znaczenie słów. Na przykład „hot dog” ma zupełnie inne znaczenie w zdaniach „Wolę hamburgery od hot dogów"A"Hot dogi najlepiej smakują z musztardą„. Zasadniczo informacje kontekstowe, czyli to, co ludzie pojmują, a maszyny nie, umożliwiły dokonanie zmian.
2018-2019: lata rozwoju GPT
Pierwsze dwa główne modele językowe OpenAI pojawiły się w odstępie kilku miesięcy. Firma chciała opracować wielozadaniową sztuczną inteligencję ogólnego przeznaczenia i uważa, że duże modele językowe są kluczowym krokiem w kierunku tego celu. W ten sposób oprogramowanie jest w stanie samodzielnie dostrzegaj wzorce w danych, nie mówiąc im, co oglądają lub czytają. Wiele wcześniejszych sukcesów w uczeniu maszynowym opierało się na uczeniu nadzorowanym i danych z adnotacjami, ale ręczne etykietowanie danych to powolna praca, która ogranicza rozmiar zestawów danych dostępnych do szkolenia. To było GPT-2, aby wywołać największe zamieszanie. W rzeczywistości OpenAI powiedział, że jest tak zaniepokojony, że ludzie mogą używać GPT-2”generować oszukańczy, zniekształcony lub obraźliwy język”, co nie spowodowałoby wydania pełnego modelu. Ale to nie wszystko.
Jeśli GPT-2 był imponujący, kontynuacja OpenAI, GPT-3, dosłownie dokonała rewolucji. Jego zdolność do generować teksty podobne do ludzkich stanowił wielki krok naprzód. GPT-3 może odpowiadać na pytania, streszczać dokumenty, generować historie w różnych stylach, tłumaczyć między angielskim, francuskim, hiszpańskim i japońskim i wiele więcej. Jednak nadal nie może zastąpić człowieka, ponieważ brakuje mu podstawowych cech człowieczeństwa. Rozmawialiśmy o tym dogłębnie ten artykuł.
Źródło | MIT
