#153 Wie hoste ich ein Large Language Modell (LLM) mit Kubernetes in 5 Minuten mit Data Science Deep Dive

Wie hoste ich ein Large Language Modell in 5 Minuten mit Kubernetes mit Data Science Deep Dive.

Im Engineering Kiosk Adventskalender 2024 sprechen befreundete Podcaster⋅innen und wir selbst, Andy und Wolfi, jeden Tag kurz & knackig innerhalb von wenigen Minuten über ein interessantes Tech-Thema.

Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners

Das schnelle Feedback zur Episode:

👍 (top) 👎 (geht so)

Links

• Data Science Deep Dive Podcast: https://inwt.podbean.com/
• In Numbers We Trust: https://www.inwt-statistics.de/
• Kubernetes: https://kubernetes.io/
• Hugging Face: https://huggingface.co/
• Databricks: https://www.databricks.com/de
• Tabby: https://github.com/TabbyML/tabby
• Gradio: https://www.gradio.app/
• Ollama: https://ollama.com/
• vLLM: https://github.com/vllm-project/vllm
• NVIDIA device plugin for Kubernetes: https://github.com/NVIDIA/k8s-device-plugin#quick-start

Sprungmarken

(00:00:00) Wie hoste ich ein Large Language Modell in 5 Minuten mit Kubernetes?

Hosts

• Wolfgang Gassler (https://mastodon.social/@woolf)
• Andy Grunwald (https://andygrunwald.com/)

Feedback

• EngKiosk Community: https://engineeringkiosk.dev/join-discord 
• Buy us a coffee: https://engineeringkiosk.dev/kaffee
• Email: [email protected]
• LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
• Mastodon: https://podcasts.social/@engkiosk
• Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
• Twitter: https://twitter.com/EngKiosk