Ingenieur für KI-Inferenz

• Practice Data

• Technologies Business Intelligence Jobs and Data Recruitment

• Location Amsterdam, Netherlands

• Type Contract

*STELLE ALS SENIOR AI INFERENCE ENGINEER – ANFÄNGLICHER EINSATZZEITRAUM VON 12 MONATEN – BEHÖRDENKUNDEN*

, STANDORT AMSTELVEEN ODER EINDHOVEN

HYBRIDES ARBEITEN

Das Unternehmen betreut derzeit eine Reihe von Kunden aus dem öffentlichen Sektor in den Niederlanden und sucht nun einen AI-Inference-Ingenieur für sein Team in den Benelux-Ländern und den nordischen Ländern, um eine Unternehmens-KI-Plattform für geschäftskritische Workloads weiterzuentwickeln.

In Zusammenarbeit mit dem Projektmanager, dem Produktverantwortlichen und den KI-Ingenieuren in einem eigenständigen Scrum-Team sind Sie für den Lebenszyklus der KI-Tools und der Infrastruktur verantwortlich und entscheiden, welche Modelle auf welcher Hardware mit welcher Kapazität und in welcher Qualität ausgeführt werden, wobei Sie ein Gleichgewicht zwischen Bereitstellung und Betrieb herstellen.

Kernaufgaben:
• Benchmark eines 8x-H200-Knotens: Tensor-Parallelität im Vergleich zu Replikaten mit LLM-D-Cache-bewusstem Routing; Messung von Durchsatz, Zeit bis zum ersten Token und Parallelität pro GPU.
• Umsetzung der Ergebnisse in kundenorientierte Kapazitätsmodelle: Token/Minute und Anfragen/Minute pro Modell/GPU.
• Erstellung von Katalog-Benchmarks, die Leistung, Qualitätsbewertung anhand fester Datensätze und Hardwareanforderungen abdecken.
• Entwurf einer Filterung von Eingabe- und Ausgabedaten unter Verwendung selbst gehosteter Open-Weight-Modelle.
• Bewertung von Modelllizenzen, NVFP4/FP8/INT8-Quantisierung, Speicheranpassung und Serving-Konfigurationen.

Sie bringen Erfahrung mit ML-Plattformen für Unternehmen, den produktiven Betrieb von GPU-basierten LLMs mit vLLM oder ähnlichen Lösungen sowie Kenntnisse in den Bereichen KV-Cache, Batching, Präfix-Caching, Quantisierung und dem Vergleich zwischen NVLink und Ethernet mit. Python, praktische Kubernetes-Kenntnisse, reproduzierbare Leistungstests und schriftlich festgehaltene Architekturentscheidungen (ADRs) sind von entscheidender Bedeutung.

Hybrid: 1–2 Tage pro Woche in Amstelveen/Eindhoven; Flexibilität erforderlich.

• share
• 
• 
• 
•