Version vom 1. Oktober 2024, 13:33 Uhr

Wer

• Shintaro

Call for speakers

Wenn jemand bereits praktisches Erfahrung mit LLM's gesammelt hat, gerne bei mir melden!

Wann

Steht noch nicht fest.

Wo

Hackerspace Hauptraum

Was mitbringen

Noch nicht 100% klar.

Da es für LLM, besonders für leistungsfähigere Modelle, hohe GPU Leistung mit viel GPU RAM benötigt wird, muss noch überlegt werden wie der Hands-On Teil gemacht wird. Nachfolgend paar Ansätze:

• Leistungsstarke Laptop oder PC mitbringen.
• Cloud Dienste nutzen (Beispiel OpenAI).
• On-Premis Rechner mit GPU bereitstellen.

Welche Themen sind wichtig für einen technischen LLM-Workshop?

Nachfolgend ist ein Vorschlag für Themen für ein LLM Workshop. Da ich nicht genügend sichere Informationen zu allen Punkten habe, werde ich diese nur als Grundlage für den Workshop heranziehen. Der nachstehende Vorschlag wurde mit "mistral-small:22b-instruct-2409-q3_K_S" auf meinem lokalen Linux PC mit einer NVIDIA RTX 3060 und 12 GB RAM generiert.

Ein technischer LLM-Workshop sollte eine Vielzahl von Themen abdecken, um sicherzustellen, dass die Teilnehmer ein umfassendes Verständnis der Technologie und ihrer Anwendungen erhalten. Hier sind einige wichtige Themen:

Einführung in LLMs

• Was sind große Sprachmodelle (LLMs)?
• Geschichte und Entwicklung von LLMs
• Unterschiede zwischen verschiedenen Arten von LLMs

Architektur und Implementierung

• Grundlagen der Architektur von LLMs
• Skalierbarkeit und Effizienz
• Implementierung in verschiedenen Programmiersprachen

Anwendungen von LLMs

• Natürliche Sprachverarbeitung (NLP)
• Chatbots und virtuelle Assistenten
• Inhaltserstellung und -generierung
• Übersetzung und maschinelles Lernen

Herausforderungen und Lösungen

• Datenmangel und Datenqualität
• Ressourcenintensive Berechnungen
• Ethik und Datenschutz
• Benutzerfreundlichkeit und Zugänglichkeit

Best Practices und Fallstudien

• Erfolgreiche Anwendungsfälle von LLMs
• Common Pitfalls und wie sie zu vermeiden sind
• Best Practices für die Entwicklung und Implementierung von LLMs

Zukunftsperspektiven

• Aktuelle Forschung und Entwicklungen
• Potenzielle Anwendungen in der Zukunft
• Herausforderungen und Chancen

Ressourcen und weiterführende Literatur

• Bücher und Artikel zum Thema LLMs
• Online-Ressourcen und Tutorials
• Foren und Communities für Entwickler und Forscher

Diese Themen bieten eine umfassende Grundlage für einen technischen LLM-Workshop und helfen den Teilnehmern, ein tiefes Verständnis der Technologie sowie ihrer praktischen Anwendungen zu entwickeln.

Python Code um den oberen Themenvorschlag zu generieren

Hinweis! Die Antworten variieren bei nicht definierten "seed".

from ollama import Client
client = Client(host='http://localhost:11434')
# ollama pull mistral-small:22b-instruct-2409-q3_K_S
response = client.chat(model='mistral-small:22b-instruct-2409-q3_K_S', messages=[
  {
    'role': 'system',
    'content': 'Du bist ein professioneller Texter. Please convert the following content to MediaWiki syntax. Make sure to translate the headings, lists, links, images, tables, and formatting correctly.',
  },
  {
    'role': 'user',
    'content': 'Welche Themen sind wichtig für einen technisches LLM-Workshop?',
  },
])

# , options={"seed":0,"temperature": 0.8}
print(response['message']['content'])

Response:

{'model': 'mistral-small:22b-instruct-2409-q3_K_S', 'created_at': '2024-10-01T09:49:45.161618403Z', 'message': {'role': 'assistant', 'content': ' = Welche Themen sind wichtig für einen technischen LLM-Workshop? =\n\nEin technischer LLM-Workshop sollte eine Vielzahl von Themen abdecken, um sicherzustellen, dass die Teilnehmer ein umfassendes Verständnis der Technologie und ihrer Anwendungen erhalten. Hier sind einige wichtige Themen:\n\n== Einführung in LLMs ==\n- * Was sind große Sprachmodelle (LLMs)?\n- * Geschichte und Entwicklung von LLMs\n- * Unterschiede zwischen verschiedenen Arten von LLMs\n\n== Architektur und Implementierung ==\n- * Grundlagen der Architektur von LLMs\n- * Skalierbarkeit und Effizienz\n- * Implementierung in verschiedenen Programmiersprachen\n\n== Anwendungen von LLMs ==\n- * Natürliche Sprachverarbeitung (NLP)\n- * Chatbots und virtuelle Assistenten\n- * Inhaltserstellung und -generierung\n- * Übersetzung und maschinelles Lernen\n\n== Herausforderungen und Lösungen ==\n- * Datenmangel und Datenqualität\n- * Ressourcenintensive Berechnungen\n- * Ethik und Datenschutz\n- * Benutzerfreundlichkeit und Zugänglichkeit\n\n== Best Practices und Fallstudien ==\n- * Erfolgreiche Anwendungsfälle von LLMs\n- * Common Pitfalls und wie sie zu vermeiden sind\n- * Best Practices für die Entwicklung und Implementierung von LLMs\n\n== Zukunftsperspektiven ==\n- * Aktuelle Forschung und Entwicklungen\n- * Potenzielle Anwendungen in der Zukunft\n- * Herausforderungen und Chancen\n\n== Ressourcen und weiterführende Literatur ==\n- * Bücher und Artikel zum Thema LLMs\n- * Online-Ressourcen und Tutorials\n- * Foren und Communities für Entwickler und Forscher\n\nDiese Themen bieten eine umfassende Grundlage für einen technischen LLM-Workshop und helfen den Teilnehmern, ein tiefes Verständnis der Technologie sowie ihrer praktischen Anwendungen zu entwickeln.'}, 'done_reason': 'stop', 'done': True, 'total_duration': 32841499936, 'load_duration': 5353884, 'prompt_eval_count': 67, 'prompt_eval_duration': 67215000, 'eval_count': 540, 'eval_duration': 32642641000}

Leider konnte bis jetzt keines der lokal ausführbaren Modelle einen sauber in MediaWiki formatierten Inhalt generieren.