Facebook Twitter Instagram
    piątek, 9 czerwca
    Facebook Twitter Instagram
    Fintech Portal
    • Newsy
    • Sztuczna inteligencja
    • Podstawy finansów
      • Ekonomia
    • CBDC
    • Inwestycje
    • Blockchain
      • Kryptowaluty
    • Portfele cyfrowe
    Fintech Portal
    You are at:Strona główna » Bloomberg buduje rozbudowany model językowy dla finansów
    Newsy

    Bloomberg buduje rozbudowany model językowy dla finansów

    maciekBy maciek10 kwietnia 2023023 Mins Read
    Share Facebook Twitter Pinterest LinkedIn Tumblr Email
    bloomberg gpt
    Share
    Facebook Twitter LinkedIn Pinterest Email

    Ostatnio bardzo dużo firm buduje własne, rozbudowane modele językowe. Jednak w przypadku naszej branży najbardziej interesującą jest ten tworzony przez giganta danych finansowych i newsów – firmę Bloomberg L.P.

    Bloomberg to firma założona przez byłego majora Nowego Jorku Mike’a Bloomberga. Jest to hub danych finansowych z działem wiadomości. Teraz spółka zaprezentowała zupełnie nowy produkt – BloombergGPT. Według deweloperów, model językowy jest szkolony na „szerokim zakresie” danych finansowych, aby wspierać „różnorodny” zestaw zadań NLP.

    Firma powiedziała, że podczas gdy postępy w dużych modelach językowych wykazały nowe zastosowania, „złożoność i unikalna terminologia domeny finansowej uzasadniają model specyficzny dla danej domeny.”

    BloombergGPT będzie wykorzystywany do finansowych zadań NLP, takich jak analiza sentymentu, klasyfikacja wiadomości i odpowiadanie na pytania.

    Model zostanie również wykorzystany do wprowadzenia nowych sposobów eksploracji ogromnych ilości danych na Bloomberg Terminal, który przez lata korzystał z klawiszy funkcyjnych i skomplikowanego interfejsu użytkownika.

    CTO Bloomberga – Shawn Edwards, napisał na blogu, że BloombergGPT pozwoli firmie na szybsze zajęcie się nowymi typami aplikacji. Co więcej, już na starcie da „wyższą wydajność” niż tworzenie własnych modeli dla każdej aplikacji.

    Dokument przedstawiający model można znaleźć na arXiv.

    Jak wypada BloombergGPT?

    Pod względem rozmiaru, BloombergGPT składa się z 50 miliardów parametrów. Aby umieścić to w perspektywie, GPT-3 OpenAI, który niedawno został zastąpiony przez GPT-4, ma 175 miliardów parametrów.

    BloombergGPT jest stosunkowo mały jak na LLM, a najbliższym porównaniem wielkości byłby model LLaMA Meta – składający się z 65 miliardów parametrów. Jednak model ten jest szkolony specjalnie do bardzo specyficznych zadań NLP w dziedzinie finansów, co oznacza, że nie potrzebuje bardziej ogólnych danych jak model OpenAI.

    Model został stworzony przy użyciu obszernego archiwum danych finansowych Bloomberga. Dane te składały się z 363 miliardów tokenów pochodzących z angielskich dokumentów finansowych oraz 345 miliardów tokenów z publicznych zbiorów danych. To pozwoliło na stworzenie dużego korpusu szkoleniowego z ponad 700 miliardami tokenów.

    Inżynierowie Bloomberg ML wytrenowali następnie 50-miliardowy model języka przyczynowego. Został on zweryfikowany na benchmarkach NLP specyficznych dla finansów, jak również na zestawie wewnętrznych standardów.

    W odniesieniu do popularnych benchmarków NLP, takich jak BIG-bench Hard i MMLU, Bloomberg powiedział, że jego model „przewyższa istniejące otwarte modele o podobnej wielkości w zadaniach finansowych z dużym marginesem, jednocześnie osiągając równe lub lepsze wyniki w ogólnych benchmarkach NLP.”

    BloombergGPT okazał się rywalizować z większymi modelami open source, takimi jak Bloom i OPT-66B jeśli chodzi o benchmarki specyficzne dla finansów. Uzyskał również lepsze wyniki niż mniejsze modele open source, takie jak GPT-NeoX firmy Hugging Face.

    W bardziej ogólnych testach benchmarkowych BloombergGPT nie zdołał jednak pokonać GPT-3 OpenAI, ale osiągnął wyniki, które nie by zbyt odległe.

    Inne modele AI

    Wraz ze wzrostem zainteresowania LLM, rośnie liczba graczy tworzących własne iteracje. W zeszłym tygodniu Cerebras, startup zajmujący się produkcją układów scalonych, zaprezentował własne duże modele językowe wyszkolone na swoim superkomputerze AI, Andromedzie. Z kolei Salesforce stworzył EinsteinGPT do zarządzania relacjami z klientami.

    Same koszty związane z tworzeniem takich modeli mogą sprawić, że wiele firm zrezygnuje z takiego pomysłu. Jednak ostatnio pojawiło się kilka wyjątków od tej reguły. Badacze AI ze Stanford zaprezentowali Alpaca, model językowy wyszkolony za jedyne 600 dolarów. Z kolei Databricks pokazało klona ChatGPT – Dolly, który został wykonany za jedyne 30 dolarów.

    Ale według niektórych osób znanych w świecie technologii, rozwój AI powinien całkowicie zatrzymać się na sześć miesięcy, aby zbadać wpływ sztucznej inteligencji. Elon Musk i Steve Wozniak, współzałożyciel Apple, podpisali list otwarty wzywający do wstrzymania rozwoju AI. Jednak przez niektórych pomysł ten został wyszydzony, np. przez laureata nagrody Turinga Yanna LeCuna.

    Share. Facebook Twitter Pinterest LinkedIn Tumblr Email
    Previous ArticleGoogle zakaże aplikacjom pożyczkowym dostępu do danych użytkowników
    Next Article Czy Nvidia jest przeceniona czy jej akcje chronią przed inflacją?
    maciek

    Ostatnie artykuły w tej kategorii:

    Newsy By maciek

    Autor „Bitcoin Standard” zostaje doradcą ekonomicznym Salwadoru

    7 czerwca 2023
    Newsy By maciek

    SEC pozywa Binance i Coinbase. Jaka jest treść pozwów i czego możemy spodziewać się w przyszłości?

    7 czerwca 2023
    Newsy By maciek

    Nasdaq na nowym rocznym szczycie. Co ciągnie rynki akcji w górę i jakie są zagrożenia?

    2 czerwca 2023
    0 0 Głosy
    Oceń artykuł
    guest
    guest
    0 komentarzy
    Inline Feedbacks
    View all comments

    Newsy

    Autor „Bitcoin Standard” zostaje doradcą ekonomicznym Salwadoru

    By maciek7 czerwca 2023

    Saifedean Ammous, autor książki o Bitcoinie zatytułowanej The Bitcoin Standard, został mianowany doradcą ekonomicznym Salwadorskiego…

    Newsy

    SEC pozywa Binance i Coinbase. Jaka jest treść pozwów i czego możemy spodziewać się w przyszłości?

    By maciek7 czerwca 2023

    Amerykańska Komisja Papierów Wartościowych i Giełd (SEC) kontynuuje kampanię przeciwko kryptowalutom, dodając dwóch bardzo znanych…

    Newsy

    Nasdaq na nowym rocznym szczycie. Co ciągnie rynki akcji w górę i jakie są zagrożenia?

    By maciek2 czerwca 2023

    Rynki akcji doświadczają obecnie pewnego boomu, który jest wyraźnie napędzany pozytywnymi oczekiwaniami związanymi z segmentem…

    Newsy

    Złoto wciąż walczy w pobliżu rekordowych poziomów. Trend wzrostowy jest nadal możliwy

    By maciek2 czerwca 2023

    Złoto wciąż znajduje się stosunkowo blisko swojego rekordowego poziomu, który wynosi około 2080 USD za…

    Kategorie
    • Akcje (4)
    • Aplikacje mobilne (4)
    • Banki (7)
    • Bezpieczeństwo (2)
    • Blockchain (2)
    • CBDC (13)
    • Ekonomia (5)
    • Giełdy kryptowalut (3)
    • Gospodarka (6)
    • Inwestycje (10)
    • Karty płatnicze (2)
    • Kredyty (2)
    • Kryptowaluty (6)
    • Newsy (558)
    • Płatności bezgotówkowe (5)
    • Podatki (1)
    • Podstawy finansów (5)
    • Porady i instrukcje (23)
    • Portfele cyfrowe (6)
    • Pożyczki (2)
    • Prawo (5)
    • Sztuczna inteligencja (79)
    • Tokeny (1)
    • Ubezpieczenia (2)
    • Wydarzenia (4)

    Autor „Bitcoin Standard” zostaje doradcą ekonomicznym Salwadoru

    SEC pozywa Binance i Coinbase. Jaka jest treść pozwów i czego możemy spodziewać się w przyszłości?

    Nasdaq na nowym rocznym szczycie. Co ciągnie rynki akcji w górę i jakie są zagrożenia?

    Złoto wciąż walczy w pobliżu rekordowych poziomów. Trend wzrostowy jest nadal możliwy

    © 2023 FintechPortal.pl

    Type above and press Enter to search. Press Esc to cancel.

    wpDiscuz