Dołącz do nas na najbliższym spotkaniu: 17 czerwca o 18:00:00 - Zmiana Klimatu.
Poznaj prelegentów wydarzenia, zobacz agendę i sprawdź, co czeka na Ciebie!
Poznaj prelegentów, którzy podzielą się swoją wiedzą i doświadczeniem.
Kim jest prelegent?
Lokalny patriota od lat związany ze społecznością PyStok. Nie tylko jako uczestnik czy prelegent, ale od pewnego czasu również organizator, dbający o realizację nagrań z wystąpień.
Od dekady profesjonalny programista w Pythonie, którego oczkiem w głowie jest czysty kod oraz głębokie zrozumienie tego jak on działa. Swego czasu łączył obydwie pasje prowadząc podcast o programowaniu.
O czym opowie?
Czy twoja aplikacja przypomina reprezentację, która świetnie sobie radzi w pierwszej połowie, tylko po to by po przerwie, pod presją, kompletnie stracić formę i wymagać pilnej zmiany składu (czyt. restartu)? Najwyższa pora przeanalizować, dlaczego Twój kod puchnie, niczym zawodnik który przesadził z suplementami.
W tej prezentacji zabiorę Cie do szatni, by pokazać kulisy tego, co się dzieje w interpreterze Pythona kiedy tworzymy nowy obiekt i dlaczego del to tylko żółta kartka, a nie wywalenie gracza z boiska.
W programie:
Do zobaczenia na trybunach!
Kim jest prelegent?
Autor, programista, trener i konsultant skoncentrowany na zastosowaniach z obszaru wyszukiwania informacji. W swojej pracy pomaga klientom w całym cyklu życia oprogramowania związanego z jego obszarem zainteresowań - od zbierania wymagań i architektury, poprzez implementację i wdrożenie, kończąc na skalowaniu oraz strojeniu systemów. W wolnych chwilach początkujący stolarz i biegacz ultra, z różnym skutkiem.
O czym opowie?
Łatwo jest skorzystać z dużego modelu językowego dostarczanego przez jednego z dużych graczy, takich jak Antropic, czy OpenAI. Sprawdza się to świetnie, ale nie wszędzie i nie zawsze. Są sytuacje gdzie koszty, ograniczenia biznesowe, czy prawne uniemożliwiają skorzystanie z tego typu rozwiązań. Wtedy z pomocą przychodzą środowiska i modele lokalne.
Podczas prezentacji spojrzymy na lokalne duże modele językowe. W tym wykorzystamy llama.cpp - umożliwiający inferencję przy pomocy różnych modeli na platformie, którą kontrolujesz Ty. Wykorzystamy sprzęt, który jest dostępny do uruchomienia w zaciszu własnych czterech ścian, jak i w zaprzyjaźnionej serwerowni. Przyjrzymy się wydajności kilku LLM-ów na różnych GPU i skupimy się na kosztach, przepustowości oraz zużyciu pamięci, żeby odpowiedzieć sobie na pytanie - czy do mojego projektu sprzęt który mam lub chcę mieć jest wystarczający. Razem lepiej zrozumiemy, jak wdrożyć swój system RAG/LLM na produkcji z perspektywy sprzętu, modelu i kwantyzacji oraz oczywiście odpowiemy sobie na pytanie - co do znaczy, "lokalny LLM".
Nasi sponsorzy i partnerzy wspierający wydarzenie.