Wydarzenie PyStok #83
Dołącz do nas na najbliższym spotkaniu: 17 czerwca o 18:00:00 - Zmiana Klimatu.
Poznaj prelegentów wydarzenia, zobacz agendę i sprawdź, co czeka na Ciebie!
Dołącz do nas na najbliższym spotkaniu: 17 czerwca o 18:00:00 - Zmiana Klimatu.
Poznaj prelegentów wydarzenia, zobacz agendę i sprawdź, co czeka na Ciebie!
Poznaj prelegentów, którzy podzielą się swoją wiedzą i doświadczeniem.
Kim jest prelegent?
Jestem programistą Pythona od 10 lat, a w wolnych chwilach nagrywam PyStoki na Youtube :)
O czym opowie?
Celem prezentacji jest przyjrzenie się bebechom CPythona pod kątem tego, jak zarządza pamięcią. Przyjrzymy się, dlaczego nasze instancje puchną z czasem i co możemy z tym zrobić, na przykładzie produkcyjnego przypadku.
Kim jest prelegent?
Autor, programista, trener i konsultant skoncentrowany na zastosowaniach z obszaru wyszukiwania informacji. W swojej pracy pomaga klientom w całym cyklu życia oprogramowania związanego z jego obszarem zainteresowań - od zbierania wymagań i architektury, poprzez implementację i wdrożenie, kończąc na skalowaniu oraz strojeniu systemów. W wolnych chwilach początkujący stolarz i biegacz ultra, z różnym skutkiem.
O czym opowie?
Łatwo jest skorzystać z dużego modelu językowego dostarczanego przez jednego z dużych graczy, takich jak Antropic, czy OpenAI. Sprawdza się to świetnie, ale nie wszędzie i nie zawsze. Są sytuacje gdzie koszty, ograniczenia biznesowe, czy prawne uniemożliwiają skorzystanie z tego typu rozwiązań. Wtedy z pomocą przychodzą środowiska i modele lokalne.
Podczas prezentacji spojrzymy na lokalne duże modele językowe. W tym wykorzystamy llama.cpp - umożliwiający inferencję przy pomocy różnych modeli na platformie, którą kontrolujesz Ty. Wykorzystamy sprzęt, który jest dostępny do uruchomienia w zaciszu własnych czterech ścian, jak i w zaprzyjaźnionej serwerowni. Przyjrzymy się wydajności kilku LLM-ów na różnych GPU i skupimy się na kosztach, przepustowości oraz zużyciu pamięci, żeby odpowiedzieć sobie na pytanie - czy do mojego projektu sprzęt który mam lub chcę mieć jest wystarczający. Razem lepiej zrozumiemy, jak wdrożyć swój system RAG/LLM na produkcji z perspektywy sprzętu, modelu i kwantyzacji oraz oczywiście odpowiemy sobie na pytanie - co do znaczy, "lokalny LLM".
Nasi sponsorzy i partnerzy wspierający wydarzenie.
Sponsorzy
Partnerzy
