{"id":14853,"date":"2025-06-05T11:58:04","date_gmt":"2025-06-05T11:58:04","guid":{"rendered":"https:\/\/chillandfin.com\/?p=14853"},"modified":"2025-06-05T11:58:05","modified_gmt":"2025-06-05T11:58:05","slug":"%e0%b9%80%e0%b8%a3%e0%b9%89%e0%b8%94%e0%b9%81%e0%b8%ae%e0%b8%97%e0%b8%9b%e0%b8%a5%e0%b9%88%e0%b8%ad%e0%b8%a2-red-hat-ai-inference-server-%e0%b8%9b%e0%b8%a5%e0%b8%94%e0%b8%a5%e0%b9%87%e0%b8%ad%e0%b8%81","status":"publish","type":"post","link":"https:\/\/chillandfin.com\/?p=14853","title":{"rendered":"\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e1b\u0e25\u0e48\u0e2d\u0e22 Red Hat AI Inference Server \u0e1b\u0e25\u0e14\u0e25\u0e47\u0e2d\u0e01 \u0e19\u0e33 Generative AI\u00a0 \u0e43\u0e0a\u0e49\u0e01\u0e31\u0e1a Model \u0e41\u0e25\u0e30 Accelerator \u0e43\u0e14\u0e01\u0e47\u0e44\u0e14\u0e49 \u0e1a\u0e19 Hybrid Cloud \u0e17\u0e38\u0e01\u0e41\u0e2b\u0e48\u0e07\u00a0"},"content":{"rendered":"\n<p>Red Hat AI Inference Server \u0e02\u0e31\u0e1a\u0e40\u0e04\u0e25\u0e37\u0e48\u0e2d\u0e19\u0e42\u0e14\u0e22 vLLM \u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e14\u0e49\u0e27\u0e22\u0e40\u0e17\u0e04\u0e42\u0e19\u0e42\u0e25\u0e22\u0e35\u0e02\u0e2d\u0e07 Neural Magic \u0e21\u0e2d\u0e1a\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19 AI \u0e17\u0e35\u0e48\u0e40\u0e23\u0e47\u0e27\u0e02\u0e36\u0e49\u0e19 \u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e2a\u0e39\u0e07 \u0e41\u0e25\u0e30\u0e04\u0e38\u0e49\u0e21\u0e04\u0e48\u0e32\u0e43\u0e0a\u0e49\u0e08\u0e48\u0e32\u0e22 \u0e17\u0e33\u0e07\u0e32\u0e19\u0e44\u0e14\u0e49\u0e01\u0e31\u0e1a\u0e17\u0e38\u0e01\u0e44\u0e2e\u0e1a\u0e23\u0e34\u0e14\u0e04\u0e25\u0e32\u0e27\u0e14\u0e4c<\/p>\n\n\n\n<p>&nbsp;\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17 \u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e42\u0e0b\u0e25\u0e39\u0e0a\u0e31\u0e19\u0e42\u0e2d\u0e40\u0e1e\u0e48\u0e19\u0e0b\u0e2d\u0e23\u0e4c\u0e2a\u0e0a\u0e31\u0e49\u0e19\u0e19\u0e33\u0e02\u0e2d\u0e07\u0e42\u0e25\u0e01 \u0e1b\u0e23\u0e30\u0e01\u0e32\u0e28\u0e40\u0e1b\u0e34\u0e14\u0e15\u0e31\u0e27 Red Hat AI Inference Server \u0e01\u0e49\u0e32\u0e27\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e17\u0e35\u0e48\u0e08\u0e30\u0e17\u0e33\u0e43\u0e2b\u0e49 generative AI (gen AI) \u0e01\u0e25\u0e32\u0e22\u0e40\u0e1b\u0e47\u0e19\u0e40\u0e17\u0e04\u0e42\u0e19\u0e42\u0e25\u0e22\u0e35\u0e17\u0e35\u0e48\u0e43\u0e04\u0e23\u0e01\u0e47\u0e43\u0e0a\u0e49\u0e44\u0e14\u0e49\u0e1a\u0e19\u0e44\u0e2e\u0e1a\u0e23\u0e34\u0e14\u0e04\u0e25\u0e32\u0e27\u0e14\u0e4c\u0e17\u0e38\u0e01\u0e41\u0e2b\u0e48\u0e07 \u0e42\u0e0b\u0e25\u0e39\u0e0a\u0e31\u0e19\u0e43\u0e2b\u0e21\u0e48\u0e19\u0e35\u0e49\u0e19\u0e33\u0e40\u0e2a\u0e19\u0e2d\u0e2d\u0e22\u0e39\u0e48\u0e43\u0e19 Red Hat AI \u0e40\u0e1b\u0e47\u0e19\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e17\u0e35\u0e48\u0e40\u0e01\u0e34\u0e14\u0e08\u0e32\u0e01\u0e42\u0e1b\u0e23\u0e40\u0e08\u0e01\u0e15\u0e4c\u0e08\u0e32\u0e01 vLLM community \u0e2d\u0e31\u0e19\u0e17\u0e23\u0e07\u0e1e\u0e25\u0e31\u0e07 \u0e41\u0e25\u0e30\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e14\u0e49\u0e27\u0e22\u0e01\u0e32\u0e23\u0e1c\u0e2a\u0e32\u0e19\u0e23\u0e27\u0e21\u0e40\u0e02\u0e49\u0e32\u0e01\u0e31\u0e1a\u0e40\u0e17\u0e04\u0e42\u0e19\u0e42\u0e25\u0e22\u0e35 Neural Magic \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e40\u0e23\u0e47\u0e27\u0e21\u0e32\u0e01\u0e02\u0e36\u0e49\u0e19 \u0e0a\u0e48\u0e27\u0e22\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e43\u0e2b\u0e49 accelerator \u0e41\u0e25\u0e30\u0e04\u0e38\u0e49\u0e21\u0e04\u0e48\u0e32\u0e43\u0e0a\u0e49\u0e08\u0e48\u0e32\u0e22 \u0e40\u0e1b\u0e47\u0e19\u0e01\u0e32\u0e23\u0e15\u0e2d\u0e1a\u0e27\u0e34\u0e2a\u0e31\u0e22\u0e17\u0e31\u0e28\u0e19\u0e4c\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e43\u0e19\u0e01\u0e32\u0e23\u0e21\u0e2d\u0e1a\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e42\u0e21\u0e40\u0e14\u0e25 gen AI \u0e43\u0e14 \u0e46 \u0e1a\u0e19 AI accelerator \u0e43\u0e14 \u0e46 \u0e01\u0e47\u0e44\u0e14\u0e49 \u0e1a\u0e19\u0e17\u0e38\u0e01\u0e2a\u0e20\u0e32\u0e1e\u0e41\u0e27\u0e14\u0e25\u0e49\u0e2d\u0e21\u0e04\u0e25\u0e32\u0e27\u0e14\u0e4c \u0e41\u0e1e\u0e25\u0e15\u0e1f\u0e2d\u0e23\u0e4c\u0e21\u0e17\u0e35\u0e48\u0e25\u0e49\u0e33\u0e2b\u0e19\u0e49\u0e32\u0e19\u0e35\u0e49\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e15\u0e48\u0e32\u0e07 \u0e46 \u0e43\u0e0a\u0e49\u0e41\u0e25\u0e30\u0e2a\u0e40\u0e01\u0e25 gen AI \u0e2a\u0e39\u0e48\u0e01\u0e32\u0e23\u0e17\u0e33\u0e07\u0e32\u0e19\u0e40\u0e1b\u0e47\u0e19\u0e23\u0e39\u0e1b\u0e18\u0e23\u0e23\u0e21\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e31\u0e48\u0e19\u0e43\u0e08\u0e21\u0e32\u0e01\u0e02\u0e36\u0e49\u0e19 \u0e44\u0e21\u0e48\u0e27\u0e48\u0e32\u0e08\u0e30\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e41\u0e1a\u0e1a\u0e2a\u0e41\u0e15\u0e19\u0e14\u0e4c\u0e2d\u0e42\u0e25\u0e19 \u0e2b\u0e23\u0e37\u0e2d\u0e1c\u0e2a\u0e32\u0e19\u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e48\u0e27\u0e19\u0e1b\u0e23\u0e30\u0e01\u0e2d\u0e1a\u0e02\u0e2d\u0e07 Red Hat Enterprise Linux AI (RHEL AI) \u0e41\u0e25\u0e30 Red Hat OpenShift AI \u0e01\u0e47\u0e15\u0e32\u0e21<\/p>\n\n\n\n<p>\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e40\u0e1b\u0e47\u0e19\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e21\u0e37\u0e2d\u0e17\u0e33\u0e07\u0e32\u0e19\u0e17\u0e35\u0e48\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e02\u0e2d\u0e07 AI \u0e42\u0e14\u0e22\u0e42\u0e21\u0e40\u0e14\u0e25\u0e17\u0e35\u0e48\u0e1c\u0e48\u0e32\u0e19\u0e01\u0e32\u0e23\u0e40\u0e17\u0e23\u0e19\u0e25\u0e48\u0e27\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e08\u0e30\u0e41\u0e1b\u0e25\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e43\u0e2b\u0e49\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e43\u0e19\u0e2a\u0e16\u0e32\u0e19\u0e01\u0e32\u0e23\u0e13\u0e4c\u0e08\u0e23\u0e34\u0e07 \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e08\u0e38\u0e14\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e02\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e1b\u0e0f\u0e34\u0e2a\u0e31\u0e21\u0e1e\u0e31\u0e19\u0e18\u0e4c\u0e01\u0e31\u0e1a\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49 \u0e17\u0e35\u0e48\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e01\u0e32\u0e23\u0e15\u0e2d\u0e1a\u0e2a\u0e19\u0e2d\u0e07\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e09\u0e31\u0e1a\u0e44\u0e27\u0e41\u0e25\u0e30\u0e41\u0e21\u0e48\u0e19\u0e22\u0e33 \u0e01\u0e32\u0e23\u0e17\u0e35\u0e48\u0e42\u0e21\u0e40\u0e14\u0e25 gen AI \u0e17\u0e31\u0e49\u0e07\u0e2b\u0e25\u0e32\u0e22\u0e02\u0e22\u0e32\u0e22\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e23\u0e27\u0e14\u0e40\u0e23\u0e47\u0e27\u0e15\u0e32\u0e21\u0e02\u0e19\u0e32\u0e14\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e08\u0e23\u0e34\u0e07\u0e41\u0e25\u0e30\u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e0b\u0e31\u0e1a\u0e0b\u0e49\u0e2d\u0e19 \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19 (inference) \u0e2d\u0e32\u0e08\u0e01\u0e25\u0e32\u0e22\u0e40\u0e1b\u0e47\u0e19\u0e04\u0e2d\u0e02\u0e27\u0e14\u0e17\u0e35\u0e48\u0e40\u0e1b\u0e47\u0e19\u0e2d\u0e38\u0e1b\u0e2a\u0e23\u0e23\u0e04\u0e2a\u0e33\u0e04\u0e31\u0e0d \u0e2a\u0e34\u0e49\u0e19\u0e40\u0e1b\u0e25\u0e37\u0e2d\u0e07\u0e17\u0e23\u0e31\u0e1e\u0e22\u0e32\u0e01\u0e23\u0e2e\u0e32\u0e23\u0e4c\u0e14\u0e41\u0e27\u0e23\u0e4c \u0e41\u0e25\u0e30\u0e40\u0e1b\u0e47\u0e19\u0e40\u0e2b\u0e15\u0e38\u0e43\u0e2b\u0e49\u0e01\u0e32\u0e23\u0e15\u0e2d\u0e1a\u0e2a\u0e19\u0e2d\u0e07\u0e44\u0e21\u0e48\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e \u0e17\u0e31\u0e49\u0e07\u0e22\u0e31\u0e07\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e04\u0e48\u0e32\u0e43\u0e0a\u0e49\u0e08\u0e48\u0e32\u0e22\u0e43\u0e19\u0e01\u0e32\u0e23\u0e14\u0e33\u0e40\u0e19\u0e34\u0e19\u0e07\u0e32\u0e19\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e02\u0e36\u0e49\u0e19 \u0e14\u0e31\u0e07\u0e19\u0e31\u0e49\u0e19 \u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e17\u0e35\u0e48\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e41\u0e02\u0e47\u0e07\u0e41\u0e01\u0e23\u0e48\u0e07\u0e44\u0e21\u0e48\u0e43\u0e0a\u0e48\u0e2a\u0e34\u0e48\u0e07\u0e1f\u0e38\u0e48\u0e21\u0e40\u0e1f\u0e37\u0e2d\u0e22\u0e2d\u0e35\u0e01\u0e15\u0e48\u0e2d\u0e44\u0e1b \u0e41\u0e15\u0e48\u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e34\u0e48\u0e07\u0e08\u0e33\u0e40\u0e1b\u0e47\u0e19\u0e17\u0e35\u0e48\u0e08\u0e30\u0e0a\u0e48\u0e27\u0e22\u0e1b\u0e25\u0e14\u0e25\u0e47\u0e2d\u0e01\u0e43\u0e2b\u0e49\u0e44\u0e14\u0e49\u0e43\u0e0a\u0e49\u0e28\u0e31\u0e01\u0e22\u0e20\u0e32\u0e1e\u0e17\u0e35\u0e48\u0e41\u0e17\u0e49\u0e08\u0e23\u0e34\u0e07\u0e02\u0e2d\u0e07 AI \u0e43\u0e19\u0e27\u0e07\u0e01\u0e27\u0e49\u0e32\u0e07 \u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e17\u0e35\u0e48\u0e07\u0e48\u0e32\u0e22\u0e02\u0e36\u0e49\u0e19\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e32\u0e01\u0e08\u0e30\u0e0a\u0e48\u0e27\u0e22\u0e02\u0e08\u0e31\u0e14\u0e04\u0e27\u0e32\u0e21\u0e0b\u0e31\u0e1a\u0e0b\u0e49\u0e2d\u0e19\u0e17\u0e35\u0e48\u0e0b\u0e48\u0e2d\u0e19\u0e2d\u0e22\u0e39\u0e48\u0e44\u0e14\u0e49<\/p>\n\n\n\n<p>\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e40\u0e08\u0e32\u0e30\u0e08\u0e07\u0e08\u0e31\u0e14\u0e01\u0e32\u0e23\u0e04\u0e27\u0e32\u0e21\u0e17\u0e49\u0e32\u0e17\u0e32\u0e22\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49\u0e14\u0e49\u0e27\u0e22 Red Hat AI Inference Server \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e42\u0e0b\u0e25\u0e39\u0e0a\u0e31\u0e19\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e41\u0e1a\u0e1a\u0e42\u0e2d\u0e40\u0e1e\u0e48\u0e19\u0e17\u0e35\u0e48\u0e2d\u0e2d\u0e01\u0e41\u0e1a\u0e1a\u0e21\u0e32\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e21\u0e2d\u0e1a\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e17\u0e35\u0e48\u0e2a\u0e39\u0e07 \u0e21\u0e35\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e21\u0e37\u0e2d\u0e1a\u0e35\u0e1a\u0e2d\u0e31\u0e14\u0e41\u0e25\u0e30\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e42\u0e21\u0e40\u0e14\u0e25\u0e17\u0e35\u0e48\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e0a\u0e31\u0e49\u0e19\u0e19\u0e33\u0e15\u0e34\u0e14\u0e15\u0e31\u0e49\u0e07\u0e21\u0e32\u0e1e\u0e23\u0e49\u0e2d\u0e21 \u0e19\u0e27\u0e31\u0e15\u0e01\u0e23\u0e23\u0e21\u0e19\u0e35\u0e49\u0e0a\u0e48\u0e27\u0e22\u0e40\u0e2a\u0e23\u0e34\u0e21\u0e43\u0e2b\u0e49\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e43\u0e0a\u0e49\u0e2a\u0e21\u0e23\u0e23\u0e16\u0e19\u0e30\u0e02\u0e2d\u0e07 gen AI \u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e40\u0e15\u0e47\u0e21\u0e17\u0e35\u0e48\u0e14\u0e49\u0e27\u0e22\u0e01\u0e32\u0e23\u0e21\u0e2d\u0e1a\u0e1b\u0e23\u0e30\u0e2a\u0e1a\u0e01\u0e32\u0e23\u0e13\u0e4c\u0e01\u0e32\u0e23\u0e15\u0e2d\u0e1a\u0e2a\u0e19\u0e2d\u0e07\u0e17\u0e35\u0e48\u0e14\u0e35\u0e02\u0e36\u0e49\u0e19\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e32\u0e01\u0e43\u0e2b\u0e49\u0e01\u0e31\u0e1a\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49 \u0e41\u0e25\u0e30\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e21\u0e35\u0e2d\u0e34\u0e2a\u0e23\u0e30\u0e43\u0e19\u0e01\u0e32\u0e23\u0e40\u0e25\u0e37\u0e2d\u0e01\u0e43\u0e0a\u0e49 AI accelerators \u0e40\u0e25\u0e37\u0e2d\u0e01\u0e43\u0e0a\u0e49\u0e42\u0e21\u0e40\u0e14\u0e25\u0e41\u0e25\u0e30\u0e2a\u0e20\u0e32\u0e1e\u0e41\u0e27\u0e14\u0e25\u0e49\u0e2d\u0e21\u0e44\u0e2d\u0e17\u0e35\u0e44\u0e14\u0e49\u0e15\u0e32\u0e21\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23<\/p>\n\n\n\n<p><strong>vLLM: \u0e01\u0e32\u0e23\u0e02\u0e22\u0e32\u0e22\u0e19\u0e27\u0e31\u0e15\u0e01\u0e23\u0e23\u0e21\u0e14\u0e49\u0e32\u0e19\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19<\/strong><\/p>\n\n\n\n<p>Red Hat AI Inference Server \u0e2a\u0e23\u0e49\u0e32\u0e07\u0e08\u0e32\u0e01\u0e42\u0e1b\u0e23\u0e40\u0e08\u0e01\u0e15\u0e4c vLLM \u0e0a\u0e31\u0e49\u0e19\u0e19\u0e33\u0e43\u0e19\u0e27\u0e07\u0e01\u0e32\u0e23\u0e17\u0e35\u0e48\u0e40\u0e23\u0e34\u0e48\u0e21\u0e15\u0e49\u0e19\u0e1e\u0e31\u0e12\u0e19\u0e32\u0e42\u0e14\u0e22 University of California, Berkeley \u0e40\u0e21\u0e37\u0e48\u0e2d\u0e01\u0e25\u0e32\u0e07\u0e1b\u0e35 \u0e1e.\u0e28. 2566 \u0e42\u0e1b\u0e23\u0e40\u0e08\u0e01\u0e15\u0e4c\u0e02\u0e2d\u0e07\u0e04\u0e2d\u0e21\u0e21\u0e34\u0e27\u0e19\u0e34\u0e15\u0e35\u0e49\u0e19\u0e35\u0e49 \u0e21\u0e2d\u0e1a\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19 gen AI \u0e17\u0e35\u0e48\u0e21\u0e35\u0e1b\u0e23\u0e34\u0e21\u0e32\u0e13\u0e07\u0e32\u0e19\u0e43\u0e19\u0e0a\u0e48\u0e27\u0e07\u0e40\u0e27\u0e25\u0e32\u0e2b\u0e19\u0e36\u0e48\u0e07 \u0e46 \u0e17\u0e35\u0e48\u0e2a\u0e39\u0e07 (high-throughput gen AI inference) \u0e23\u0e2d\u0e07\u0e23\u0e31\u0e1a\u0e2d\u0e34\u0e19\u0e1e\u0e38\u0e15\u0e02\u0e19\u0e32\u0e14\u0e43\u0e2b\u0e0d\u0e48, multi-GPU model acceleration, \u0e01\u0e32\u0e23\u0e41\u0e1a\u0e17\u0e0a\u0e4c\u0e15\u0e48\u0e2d\u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07 \u0e41\u0e25\u0e30\u0e2d\u0e37\u0e48\u0e19 \u0e46 \u0e2d\u0e35\u0e01\u0e21\u0e32\u0e01<\/p>\n\n\n\n<p>vLLM \u0e2a\u0e19\u0e31\u0e1a\u0e2a\u0e19\u0e38\u0e19\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e43\u0e19\u0e27\u0e07\u0e01\u0e27\u0e49\u0e32\u0e07\u0e01\u0e31\u0e1a\u0e42\u0e21\u0e40\u0e14\u0e25\u0e15\u0e48\u0e32\u0e07 \u0e46 \u0e17\u0e35\u0e48\u0e40\u0e1b\u0e34\u0e14\u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e32\u0e18\u0e32\u0e23\u0e13\u0e30 \u0e04\u0e27\u0e1a\u0e04\u0e39\u0e48\u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1a\u0e39\u0e23\u0e13\u0e32\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e01\u0e31\u0e1a\u0e42\u0e21\u0e40\u0e14\u0e25\u0e0a\u0e31\u0e49\u0e19\u0e19\u0e33\u0e15\u0e48\u0e32\u0e07 \u0e46 \u0e15\u0e31\u0e49\u0e07\u0e41\u0e15\u0e48 day zero \u0e0b\u0e36\u0e48\u0e07\u0e23\u0e27\u0e21\u0e16\u0e36\u0e07 DeepSeek, Gemma, Llama, <a href=\"https:\/\/www.nvidia.com\/en-us\/ai-data-science\/foundation-models\/llama-nemotron\/\">Llama Nemotron<\/a>, Mistral, Phi \u0e41\u0e25\u0e30\u0e2d\u0e37\u0e48\u0e19 \u0e46 \u0e23\u0e27\u0e21\u0e16\u0e36\u0e07\u0e42\u0e21\u0e40\u0e14\u0e25\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e40\u0e2b\u0e15\u0e38\u0e1c\u0e25\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e41\u0e1a\u0e1a\u0e40\u0e1b\u0e34\u0e14 \u0e40\u0e0a\u0e48\u0e19 Llama Nemotron \u0e19\u0e31\u0e1a\u0e44\u0e14\u0e49\u0e27\u0e48\u0e32\u0e40\u0e1b\u0e47\u0e19\u0e21\u0e32\u0e15\u0e23\u0e10\u0e32\u0e19\u0e17\u0e35\u0e48\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e22\u0e2d\u0e21\u0e23\u0e31\u0e1a\u0e41\u0e25\u0e30\u0e43\u0e0a\u0e49\u0e01\u0e31\u0e19\u0e42\u0e14\u0e22\u0e17\u0e31\u0e48\u0e27\u0e44\u0e1b\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e19\u0e27\u0e31\u0e15\u0e01\u0e23\u0e23\u0e21\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19 AI \u0e43\u0e19\u0e2d\u0e19\u0e32\u0e04\u0e15 \u0e01\u0e32\u0e23\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e42\u0e21\u0e40\u0e14\u0e25\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e41\u0e19\u0e27\u0e2b\u0e19\u0e49\u0e32\u0e15\u0e48\u0e32\u0e07\u0e43\u0e0a\u0e49 vLLM \u0e21\u0e32\u0e01\u0e02\u0e36\u0e49\u0e19 \u0e17\u0e33\u0e43\u0e2b\u0e49 vLLM \u0e21\u0e35\u0e1a\u0e17\u0e1a\u0e32\u0e17\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e15\u0e48\u0e2d\u0e2d\u0e19\u0e32\u0e04\u0e15\u0e02\u0e2d\u0e07 gen AI<\/p>\n\n\n\n<p><strong>\u0e01\u0e32\u0e23\u0e40\u0e1b\u0e34\u0e14\u0e15\u0e31\u0e27 Red Hat AI Inference Server<\/strong><\/p>\n\n\n\n<p>Red Hat AI Inference Server \u0e21\u0e31\u0e14\u0e23\u0e27\u0e21\u0e19\u0e27\u0e31\u0e15\u0e01\u0e23\u0e23\u0e21\u0e0a\u0e31\u0e49\u0e19\u0e19\u0e33\u0e02\u0e2d\u0e07 vLLM \u0e41\u0e25\u0e30\u0e2b\u0e25\u0e2d\u0e21\u0e23\u0e27\u0e21\u0e40\u0e02\u0e49\u0e32\u0e01\u0e31\u0e1a\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e02\u0e2d\u0e07 Red Hat AI Inference Server \u0e21\u0e35\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e17\u0e31\u0e49\u0e07\u0e41\u0e1a\u0e1a\u0e2a\u0e41\u0e15\u0e19\u0e14\u0e4c\u0e2d\u0e42\u0e25\u0e19\u0e43\u0e19\u0e23\u0e39\u0e1b\u0e41\u0e1a\u0e1a\u0e04\u0e2d\u0e19\u0e40\u0e17\u0e19\u0e40\u0e19\u0e2d\u0e23\u0e4c \u0e2b\u0e23\u0e37\u0e2d \u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e48\u0e27\u0e19\u0e2b\u0e19\u0e36\u0e48\u0e07\u0e02\u0e2d\u0e07 RHEL AI \u0e41\u0e25\u0e30 Red Hat OpenShift AI<\/p>\n\n\n\n<p>Red Hat AI Inference Server \u0e21\u0e2d\u0e1a\u0e01\u0e32\u0e23\u0e01\u0e23\u0e30\u0e08\u0e32\u0e22 vLLM \u0e17\u0e35\u0e48\u0e41\u0e02\u0e47\u0e07\u0e41\u0e01\u0e23\u0e48\u0e07 \u0e41\u0e25\u0e30\u0e43\u0e0a\u0e49\u0e44\u0e14\u0e49\u0e01\u0e31\u0e1a\u0e2a\u0e20\u0e32\u0e1e\u0e41\u0e27\u0e14\u0e25\u0e49\u0e2d\u0e21\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e17\u0e38\u0e01\u0e41\u0e1a\u0e1a\u0e43\u0e2b\u0e49\u0e41\u0e01\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49 \u0e0b\u0e36\u0e48\u0e07\u0e21\u0e32\u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e14\u0e49\u0e27\u0e22:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Intelligent LLM compression tools<\/strong> \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e25\u0e14\u0e02\u0e19\u0e32\u0e14\u0e02\u0e2d\u0e07\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19 \u0e41\u0e25\u0e30\u0e1b\u0e23\u0e31\u0e1a\u0e41\u0e15\u0e48\u0e07\u0e42\u0e21\u0e40\u0e14\u0e25 AI \u0e2d\u0e22\u0e48\u0e32\u0e07\u0e25\u0e30\u0e40\u0e2d\u0e35\u0e22\u0e14 \u0e25\u0e14\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e25\u0e37\u0e2d\u0e19\u0e49\u0e2d\u0e22\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14 \u0e43\u0e19\u0e02\u0e13\u0e30\u0e17\u0e35\u0e48\u0e22\u0e31\u0e07\u0e04\u0e07\u0e23\u0e31\u0e01\u0e29\u0e32\u0e41\u0e25\u0e30\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e04\u0e27\u0e32\u0e21\u0e41\u0e21\u0e48\u0e19\u0e22\u0e33\u0e02\u0e2d\u0e07\u0e42\u0e21\u0e40\u0e14\u0e25\u0e44\u0e14\u0e49<\/li>\n\n\n\n<li><strong>\u0e1e\u0e37\u0e49\u0e19\u0e17\u0e35\u0e48\u0e40\u0e01\u0e47\u0e1a\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e42\u0e21\u0e40\u0e14\u0e25\u0e17\u0e35\u0e48\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21<\/strong> \u0e0b\u0e36\u0e48\u0e07\u0e42\u0e2e\u0e2a\u0e15\u0e4c\u0e2d\u0e22\u0e39\u0e48\u0e43\u0e19 Red Hat AI organization \u0e1a\u0e19 <a href=\"https:\/\/huggingface.co\/RedHatAI\">Hugging Face<\/a> \u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e04\u0e2d\u0e25\u0e40\u0e25\u0e01\u0e0a\u0e31\u0e19\u0e02\u0e2d\u0e07\u0e42\u0e21\u0e40\u0e14\u0e25 AI \u0e0a\u0e31\u0e49\u0e19\u0e19\u0e33\u0e17\u0e35\u0e48\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e41\u0e25\u0e30\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21 \u0e41\u0e25\u0e30\u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e43\u0e0a\u0e49\u0e43\u0e19\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e44\u0e14\u0e49\u0e17\u0e31\u0e19\u0e17\u0e35 \u0e0b\u0e36\u0e48\u0e07\u0e0a\u0e48\u0e27\u0e22\u0e40\u0e23\u0e48\u0e07\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e04\u0e27\u0e32\u0e21\u0e40\u0e23\u0e47\u0e27\u0e44\u0e14\u0e49 2-4 \u0e40\u0e17\u0e48\u0e32 \u0e42\u0e14\u0e22\u0e44\u0e21\u0e48\u0e01\u0e23\u0e30\u0e17\u0e1a\u0e15\u0e48\u0e2d\u0e04\u0e27\u0e32\u0e21\u0e41\u0e21\u0e48\u0e19\u0e22\u0e33\u0e02\u0e2d\u0e07\u0e42\u0e21\u0e40\u0e14\u0e25<\/li>\n\n\n\n<li><strong>\u0e01\u0e32\u0e23\u0e2a\u0e19\u0e31\u0e1a\u0e2a\u0e19\u0e38\u0e19\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17<\/strong> \u0e41\u0e25\u0e30\u0e04\u0e27\u0e32\u0e21\u0e40\u0e0a\u0e35\u0e48\u0e22\u0e27\u0e0a\u0e32\u0e0d\u0e17\u0e35\u0e48\u0e2a\u0e31\u0e48\u0e07\u0e2a\u0e21\u0e2b\u0e25\u0e32\u0e22\u0e17\u0e28\u0e27\u0e23\u0e23\u0e29\u0e43\u0e19\u0e01\u0e32\u0e23\u0e19\u0e33\u0e42\u0e1b\u0e23\u0e40\u0e08\u0e01\u0e15\u0e4c\u0e15\u0e48\u0e32\u0e07 \u0e46 \u0e08\u0e32\u0e01\u0e04\u0e2d\u0e21\u0e21\u0e34\u0e27\u0e19\u0e34\u0e15\u0e35\u0e49\u0e21\u0e32\u0e2a\u0e39\u0e48\u0e01\u0e32\u0e23\u0e1c\u0e25\u0e34\u0e15\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e08\u0e23\u0e34\u0e07<\/li>\n\n\n\n<li><strong>\u0e01\u0e32\u0e23\u0e2a\u0e19\u0e31\u0e1a\u0e2a\u0e19\u0e38\u0e19\u0e08\u0e32\u0e01\u0e1a\u0e38\u0e04\u0e04\u0e25\u0e20\u0e32\u0e22\u0e19\u0e2d\u0e01 (third-party)<\/strong> \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e40\u0e01\u0e34\u0e14\u0e04\u0e27\u0e32\u0e21\u0e22\u0e37\u0e14\u0e2b\u0e22\u0e38\u0e48\u0e19\u0e43\u0e19\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49 Red Hat AI Inference Server \u0e44\u0e14\u0e49\u0e1a\u0e19 non-Red Hat Linux \u0e41\u0e25\u0e30 \u0e41\u0e1e\u0e25\u0e15\u0e1f\u0e2d\u0e23\u0e4c\u0e21 Kubernetes \u0e15\u0e48\u0e32\u0e07 \u0e46 \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e44\u0e1b\u0e15\u0e32\u0e21<a href=\"https:\/\/access.redhat.com\/third-party-software-support\">\u0e19\u0e42\u0e22\u0e1a\u0e32\u0e22\u0e2a\u0e19\u0e31\u0e1a\u0e2a\u0e19\u0e38\u0e19 third-party \u0e02\u0e2d\u0e07\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17<\/a><\/li>\n<\/ul>\n\n\n\n<p><strong>\u0e27\u0e34\u0e2a\u0e31\u0e22\u0e17\u0e31\u0e28\u0e19\u0e4c\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17: \u0e42\u0e21\u0e40\u0e14\u0e25\u0e43\u0e14\u0e01\u0e47\u0e44\u0e14\u0e49, accelerator \u0e43\u0e14\u0e01\u0e47\u0e44\u0e14\u0e49, \u0e04\u0e25\u0e32\u0e27\u0e14\u0e4c\u0e43\u0e14\u0e01\u0e47\u0e44\u0e14\u0e49<\/strong><\/p>\n\n\n\n<p>\u0e2d\u0e19\u0e32\u0e04\u0e15\u0e02\u0e2d\u0e07 AI \u0e15\u0e49\u0e2d\u0e07\u0e16\u0e39\u0e01\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e42\u0e14\u0e22\u0e42\u0e2d\u0e01\u0e32\u0e2a\u0e17\u0e35\u0e48\u0e44\u0e23\u0e49\u0e02\u0e35\u0e14\u0e08\u0e33\u0e01\u0e31\u0e14 \u0e41\u0e25\u0e30\u0e44\u0e21\u0e48\u0e16\u0e39\u0e01\u0e08\u0e33\u0e01\u0e31\u0e14\u0e14\u0e49\u0e27\u0e22\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e17\u0e35\u0e48\u0e40\u0e1b\u0e47\u0e19\u0e44\u0e0b\u0e42\u0e25 \u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e21\u0e2d\u0e07\u0e40\u0e2b\u0e47\u0e19\u0e41\u0e19\u0e27\u0e17\u0e32\u0e07\u0e17\u0e35\u0e48\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e15\u0e48\u0e32\u0e07 \u0e46 \u0e08\u0e30\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e0a\u0e49\u0e42\u0e21\u0e40\u0e14\u0e25\u0e43\u0e14\u0e01\u0e47\u0e44\u0e14\u0e49 \u0e01\u0e31\u0e1a accelerator \u0e43\u0e14\u0e01\u0e47\u0e44\u0e14\u0e49 \u0e1a\u0e19\u0e04\u0e25\u0e32\u0e27\u0e14\u0e4c\u0e43\u0e14 \u0e46 \u0e01\u0e47\u0e44\u0e14\u0e49 \u0e41\u0e25\u0e30\u0e21\u0e2d\u0e1a\u0e1b\u0e23\u0e30\u0e2a\u0e1a\u0e01\u0e32\u0e23\u0e13\u0e4c\u0e17\u0e35\u0e48\u0e22\u0e2d\u0e14\u0e40\u0e22\u0e35\u0e48\u0e22\u0e21\u0e41\u0e25\u0e30\u0e2a\u0e21\u0e48\u0e33\u0e40\u0e2a\u0e21\u0e2d\u0e43\u0e2b\u0e49\u0e01\u0e31\u0e1a\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e14\u0e49\u0e27\u0e22\u0e04\u0e48\u0e32\u0e43\u0e0a\u0e49\u0e08\u0e48\u0e32\u0e22\u0e17\u0e35\u0e48\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21 \u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e15\u0e48\u0e32\u0e07\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e41\u0e1e\u0e25\u0e15\u0e1f\u0e2d\u0e23\u0e4c\u0e21\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e17\u0e35\u0e48\u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e32\u0e01\u0e25 \u0e40\u0e1b\u0e47\u0e19\u0e21\u0e32\u0e15\u0e23\u0e10\u0e32\u0e19\u0e43\u0e2b\u0e49\u0e01\u0e31\u0e1a\u0e19\u0e27\u0e31\u0e15\u0e01\u0e23\u0e23\u0e21 AI \u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e2a\u0e39\u0e07\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e21\u0e48\u0e15\u0e34\u0e14\u0e02\u0e31\u0e14 \u0e17\u0e31\u0e49\u0e07\u0e43\u0e19\u0e27\u0e31\u0e19\u0e19\u0e35\u0e49\u0e41\u0e25\u0e30\u0e2d\u0e35\u0e01\u0e2b\u0e25\u0e32\u0e22 \u0e46 \u0e1b\u0e35\u0e17\u0e35\u0e48\u0e08\u0e30\u0e15\u0e32\u0e21\u0e21\u0e32 \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e1b\u0e25\u0e14\u0e25\u0e47\u0e2d\u0e01\u0e28\u0e31\u0e01\u0e22\u0e20\u0e32\u0e1e\u0e17\u0e35\u0e48\u0e41\u0e17\u0e49\u0e08\u0e23\u0e34\u0e07\u0e08\u0e32\u0e01\u0e01\u0e32\u0e23\u0e25\u0e07\u0e17\u0e38\u0e19\u0e14\u0e49\u0e32\u0e19 gen AI<\/p>\n\n\n\n<p>\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e17\u0e35\u0e48\u0e08\u0e30\u0e27\u0e32\u0e07\u0e10\u0e32\u0e19\u0e23\u0e32\u0e01\u0e2a\u0e16\u0e32\u0e1b\u0e31\u0e15\u0e22\u0e01\u0e23\u0e23\u0e21\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e40\u0e1b\u0e47\u0e19\u0e10\u0e32\u0e19\u0e2d\u0e19\u0e32\u0e04\u0e15\u0e02\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19 AI \u0e40\u0e0a\u0e48\u0e19\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e17\u0e35\u0e48\u0e1a\u0e23\u0e34\u0e29\u0e31\u0e17\u0e2f \u0e40\u0e04\u0e22\u0e1a\u0e38\u0e01\u0e40\u0e1a\u0e34\u0e01\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e41\u0e1a\u0e1a\u0e40\u0e1b\u0e34\u0e14\u0e14\u0e49\u0e27\u0e22\u0e01\u0e32\u0e23\u0e17\u0e23\u0e32\u0e19\u0e2a\u0e4c\u0e1f\u0e2d\u0e23\u0e4c\u0e21 Linux \u0e43\u0e2b\u0e49\u0e40\u0e1b\u0e47\u0e19\u0e10\u0e32\u0e19\u0e02\u0e2d\u0e07\u0e44\u0e2d\u0e17\u0e35\u0e22\u0e38\u0e04\u0e43\u0e2b\u0e21\u0e48 \u0e28\u0e31\u0e01\u0e22\u0e20\u0e32\u0e1e\u0e02\u0e2d\u0e07 vLLM \u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e34\u0e48\u0e07\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e15\u0e48\u0e2d\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19 gen AI \u0e17\u0e35\u0e48\u0e40\u0e1b\u0e47\u0e19\u0e21\u0e32\u0e15\u0e23\u0e10\u0e32\u0e19 \u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e21\u0e38\u0e48\u0e07\u0e21\u0e31\u0e48\u0e19\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e23\u0e30\u0e1a\u0e1a\u0e19\u0e34\u0e40\u0e27\u0e28\u0e17\u0e35\u0e48\u0e04\u0e23\u0e1a\u0e04\u0e23\u0e31\u0e19\u0e43\u0e2b\u0e49\u0e01\u0e31\u0e1a\u0e44\u0e21\u0e48\u0e40\u0e1e\u0e35\u0e22\u0e07 vLLM community \u0e40\u0e17\u0e48\u0e32\u0e19\u0e31\u0e49\u0e19 \u0e41\u0e15\u0e48\u0e22\u0e31\u0e07\u0e23\u0e27\u0e21\u0e16\u0e36\u0e07 <a href=\"https:\/\/www.redhat.com\/en\/about\/press-releases\/red-hat-launches-llm-d-community-powering-distributed-gen-ai-inference-scale\">llm-d<\/a> \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e41\u0e1a\u0e1a\u0e01\u0e23\u0e30\u0e08\u0e32\u0e22 (distributed inference) \u0e2d\u0e35\u0e01\u0e14\u0e49\u0e27\u0e22 \u0e14\u0e49\u0e27\u0e22\u0e27\u0e34\u0e2a\u0e31\u0e22\u0e17\u0e31\u0e28\u0e19\u0e4c\u0e17\u0e35\u0e48\u0e0a\u0e31\u0e14\u0e40\u0e08\u0e19 \u0e44\u0e21\u0e48\u0e27\u0e48\u0e32\u0e08\u0e30\u0e40\u0e1b\u0e47\u0e19\u0e42\u0e21\u0e40\u0e14\u0e25 AI, underlying accelerator \u0e2b\u0e23\u0e37\u0e2d\u0e2a\u0e20\u0e32\u0e1e\u0e41\u0e27\u0e14\u0e25\u0e49\u0e2d\u0e21\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e08\u0e30\u0e40\u0e1b\u0e47\u0e19\u0e40\u0e0a\u0e48\u0e19\u0e44\u0e23 \u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e15\u0e31\u0e49\u0e07\u0e43\u0e08\u0e17\u0e33\u0e43\u0e2b\u0e49 vLLM \u0e40\u0e1b\u0e47\u0e19\u0e21\u0e32\u0e15\u0e23\u0e10\u0e32\u0e19\u0e40\u0e1b\u0e34\u0e14\u0e17\u0e35\u0e48\u0e2a\u0e21\u0e1a\u0e39\u0e23\u0e13\u0e4c\u0e41\u0e1a\u0e1a\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e1a\u0e19\u0e44\u0e2e\u0e1a\u0e23\u0e34\u0e14\u0e04\u0e25\u0e32\u0e27\u0e14\u0e4c<\/p>\n\n\n\n<p><strong>\u0e04\u0e33\u0e01\u0e25\u0e48\u0e32\u0e27\u0e2a\u0e19\u0e31\u0e1a\u0e2a\u0e19\u0e38\u0e19<\/strong><\/p>\n\n\n\n<p>Joe Fernandes, vice president and general manager, AI Business Unit, Red Hat<\/p>\n\n\n\n<p>&#8220;\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e32\u0e23\u0e1a\u0e2d\u0e01\u0e27\u0e48\u0e32\u0e44\u0e14\u0e49\u0e21\u0e35\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e1b\u0e23\u0e30\u0e42\u0e22\u0e0a\u0e19\u0e4c\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e41\u0e17\u0e49\u0e08\u0e23\u0e34\u0e07\u0e08\u0e32\u0e01 gen AI&nbsp; \u0e42\u0e14\u0e22\u0e01\u0e32\u0e23\u0e1b\u0e0f\u0e34\u0e2a\u0e31\u0e21\u0e1e\u0e31\u0e19\u0e18\u0e4c\u0e02\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e08\u0e30\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e15\u0e2d\u0e1a\u0e2a\u0e19\u0e2d\u0e07\u0e17\u0e35\u0e48\u0e23\u0e27\u0e14\u0e40\u0e23\u0e47\u0e27\u0e41\u0e25\u0e30\u0e41\u0e21\u0e48\u0e19\u0e22\u0e33\u0e08\u0e32\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25\u0e17\u0e35\u0e48\u0e01\u0e33\u0e2b\u0e19\u0e14 \u0e41\u0e15\u0e48\u0e08\u0e30\u0e15\u0e49\u0e2d\u0e07\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e2a\u0e48\u0e07\u0e21\u0e2d\u0e1a\u0e43\u0e2b\u0e49\u0e43\u0e0a\u0e49\u0e14\u0e49\u0e27\u0e22\u0e27\u0e34\u0e18\u0e35\u0e01\u0e32\u0e23\u0e17\u0e35\u0e48\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e41\u0e25\u0e30\u0e04\u0e38\u0e49\u0e21\u0e04\u0e48\u0e32\u0e43\u0e0a\u0e49\u0e08\u0e48\u0e32\u0e22 \u0e27\u0e31\u0e15\u0e16\u0e38\u0e1b\u0e23\u0e30\u0e2a\u0e07\u0e04\u0e4c\u0e02\u0e2d\u0e07 Red Hat AI Inference Server \u0e04\u0e37\u0e2d\u0e01\u0e32\u0e23\u0e15\u0e2d\u0e1a\u0e2a\u0e19\u0e2d\u0e07\u0e04\u0e27\u0e32\u0e21\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e14\u0e49\u0e32\u0e19\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e17\u0e35\u0e48\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e2a\u0e39\u0e07\u0e41\u0e25\u0e30\u0e21\u0e35\u0e1b\u0e0f\u0e34\u0e2a\u0e31\u0e21\u0e1e\u0e31\u0e19\u0e18\u0e4c\u0e44\u0e14\u0e49\u0e15\u0e32\u0e21\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23 \u0e43\u0e19\u0e02\u0e13\u0e30\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19 \u0e01\u0e47\u0e23\u0e31\u0e01\u0e29\u0e32\u0e04\u0e27\u0e32\u0e21\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e17\u0e23\u0e31\u0e1e\u0e22\u0e32\u0e01\u0e23\u0e43\u0e2b\u0e49\u0e2d\u0e22\u0e39\u0e48\u0e43\u0e19\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e15\u0e48\u0e33 \u0e08\u0e31\u0e14\u0e43\u0e2b\u0e49\u0e21\u0e35\u0e40\u0e25\u0e40\u0e22\u0e2d\u0e23\u0e4c\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e17\u0e31\u0e48\u0e27\u0e44\u0e1b\u0e17\u0e35\u0e48\u0e23\u0e2d\u0e07\u0e23\u0e31\u0e1a\u0e42\u0e21\u0e40\u0e14\u0e25\u0e43\u0e14\u0e01\u0e47\u0e44\u0e14\u0e49 \u0e23\u0e31\u0e19\u0e1a\u0e19 accelerator \u0e43\u0e14\u0e01\u0e47\u0e44\u0e14\u0e49 \u0e1a\u0e19\u0e17\u0e38\u0e01\u0e2a\u0e20\u0e32\u0e1e\u0e41\u0e27\u0e14\u0e25\u0e49\u0e2d\u0e21&#8221;<\/p>\n\n\n\n<p>Ramine Roane, corporate vice president, AI Product Management, AMD<\/p>\n\n\n\n<p>&#8220;\u0e04\u0e27\u0e32\u0e21\u0e23\u0e48\u0e27\u0e21\u0e21\u0e37\u0e2d\u0e01\u0e31\u0e1a\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49 AMD \u0e19\u0e33\u0e40\u0e2a\u0e19\u0e2d\u0e42\u0e0b\u0e25\u0e39\u0e0a\u0e31\u0e19\u0e25\u0e49\u0e33\u0e2a\u0e21\u0e31\u0e22\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e02\u0e31\u0e1a\u0e40\u0e04\u0e25\u0e37\u0e48\u0e2d\u0e19\u0e43\u0e2b\u0e49\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e43\u0e0a\u0e49 generative AI \u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e Red Hat AI Inference Server \u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e02\u0e38\u0e21\u0e1e\u0e25\u0e31\u0e07\u0e01\u0e23\u0e32\u0e1f\u0e34\u0e01\u0e01\u0e32\u0e23\u0e4c\u0e14 AMD Instinct\u2122 \u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e15\u0e48\u0e32\u0e07 \u0e46 \u0e21\u0e35\u0e02\u0e35\u0e14\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e19\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e14\u0e49\u0e32\u0e19 AI \u0e17\u0e35\u0e48\u0e02\u0e31\u0e1a\u0e40\u0e04\u0e25\u0e37\u0e48\u0e2d\u0e19\u0e42\u0e14\u0e22\u0e04\u0e2d\u0e21\u0e21\u0e34\u0e27\u0e19\u0e34\u0e15\u0e35\u0e49\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23 \u0e0b\u0e36\u0e48\u0e07\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e2a\u0e19\u0e31\u0e1a\u0e2a\u0e19\u0e38\u0e19\u0e40\u0e1a\u0e37\u0e49\u0e2d\u0e07\u0e2b\u0e25\u0e31\u0e07\u0e14\u0e49\u0e27\u0e22 hardware accelerators \u0e17\u0e35\u0e48\u0e1c\u0e48\u0e32\u0e19\u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e04\u0e23\u0e1a\u0e16\u0e49\u0e27\u0e19&#8221;<\/p>\n\n\n\n<p>Jeremy Foster, senior vice president and general manager, Cisco<\/p>\n\n\n\n<p>&#8220;AI workloads \u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e04\u0e27\u0e32\u0e21\u0e40\u0e23\u0e47\u0e27 \u0e04\u0e27\u0e32\u0e21\u0e2a\u0e21\u0e48\u0e33\u0e40\u0e2a\u0e21\u0e2d \u0e41\u0e25\u0e30\u0e04\u0e27\u0e32\u0e21\u0e22\u0e37\u0e14\u0e2b\u0e22\u0e38\u0e48\u0e19 \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e34\u0e48\u0e07\u0e17\u0e35\u0e48 Red Hat AI Inference Server \u0e21\u0e35 \u0e19\u0e27\u0e31\u0e15\u0e01\u0e23\u0e23\u0e21\u0e19\u0e35\u0e49\u0e40\u0e1b\u0e34\u0e14\u0e41\u0e19\u0e27\u0e17\u0e32\u0e07\u0e04\u0e27\u0e32\u0e21\u0e23\u0e48\u0e27\u0e21\u0e21\u0e37\u0e2d\u0e43\u0e2b\u0e21\u0e48 \u0e46 \u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e0b\u0e34\u0e2a\u0e42\u0e01\u0e49\u0e41\u0e25\u0e30\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17 \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49 AI \u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e44\u0e14\u0e49\u0e21\u0e32\u0e01\u0e02\u0e36\u0e49\u0e19 \u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e41\u0e25\u0e30\u0e1b\u0e23\u0e31\u0e1a\u0e02\u0e19\u0e32\u0e14\u0e44\u0e14\u0e49 \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e32\u0e23\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e40\u0e15\u0e23\u0e35\u0e22\u0e21\u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e23\u0e31\u0e1a\u0e2a\u0e34\u0e48\u0e07\u0e17\u0e35\u0e48\u0e08\u0e30\u0e40\u0e01\u0e34\u0e14\u0e02\u0e36\u0e49\u0e19\u0e43\u0e19\u0e2d\u0e19\u0e32\u0e04\u0e15&#8221;<\/p>\n\n\n\n<p>Bill Pearson, vice president, Data Center &amp; AI Software Solutions and Ecosystem, Intel<\/p>\n\n\n\n<p>&#8220;\u0e2d\u0e34\u0e19\u0e40\u0e17\u0e25\u0e23\u0e39\u0e49\u0e2a\u0e36\u0e01\u0e15\u0e37\u0e48\u0e19\u0e40\u0e15\u0e49\u0e19\u0e17\u0e35\u0e48\u0e44\u0e14\u0e49\u0e23\u0e48\u0e27\u0e21\u0e21\u0e37\u0e2d\u0e01\u0e31\u0e1a\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17 \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e0a\u0e49 Red Hat AI Inference Server \u0e01\u0e31\u0e1a Intel\u00ae Gaudi\u00ae accelerators \u0e01\u0e32\u0e23\u0e1a\u0e39\u0e23\u0e13\u0e32\u0e01\u0e32\u0e23\u0e19\u0e35\u0e49\u0e08\u0e30\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e25\u0e39\u0e01\u0e04\u0e49\u0e32\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32\u0e21\u0e35\u0e42\u0e0b\u0e25\u0e39\u0e0a\u0e31\u0e19\u0e17\u0e35\u0e48\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21 \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e41\u0e25\u0e30\u0e1b\u0e23\u0e31\u0e1a\u0e02\u0e19\u0e32\u0e14\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19 AI \u0e41\u0e25\u0e30\u0e21\u0e2d\u0e1a\u0e2a\u0e21\u0e23\u0e23\u0e16\u0e19\u0e30\u0e41\u0e25\u0e30\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e25\u0e49\u0e33\u0e2b\u0e19\u0e49\u0e32\u0e43\u0e2b\u0e49\u0e01\u0e31\u0e1a\u0e41\u0e2d\u0e1b\u0e1e\u0e25\u0e34\u0e40\u0e04\u0e0a\u0e31\u0e19 AI \u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e43\u0e19\u0e27\u0e07\u0e01\u0e27\u0e49\u0e32\u0e07\u201d<\/p>\n\n\n\n<p>John Fanelli, vice president, Enterprise Software, NVIDIA<\/p>\n\n\n\n<p>&#8220;\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e2a\u0e39\u0e07\u0e44\u0e21\u0e48\u0e40\u0e1e\u0e35\u0e22\u0e07\u0e41\u0e15\u0e48\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e42\u0e21\u0e40\u0e14\u0e25\u0e41\u0e25\u0e30 AI agents \u0e15\u0e48\u0e32\u0e07 \u0e46 \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e15\u0e2d\u0e1a\u0e04\u0e33\u0e16\u0e32\u0e21\u0e44\u0e14\u0e49\u0e40\u0e17\u0e48\u0e32\u0e19\u0e31\u0e49\u0e19 \u0e41\u0e15\u0e48\u0e22\u0e31\u0e07\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e2b\u0e49\u0e2b\u0e23\u0e37\u0e2d\u0e43\u0e0a\u0e49\u0e40\u0e2b\u0e15\u0e38\u0e1c\u0e25\u0e41\u0e25\u0e30\u0e1b\u0e23\u0e31\u0e1a\u0e15\u0e31\u0e27\u0e44\u0e14\u0e49\u0e41\u0e1a\u0e1a\u0e40\u0e23\u0e35\u0e22\u0e25\u0e44\u0e17\u0e21\u0e4c \u0e42\u0e14\u0e22 NVIDIA accelerated computing \u0e41\u0e25\u0e30 Red Hat AI Inference Server \u0e41\u0e1a\u0e1a\u0e1f\u0e39\u0e25\u0e2a\u0e41\u0e15\u0e01 (full-stack) \u0e41\u0e25\u0e30\u0e40\u0e1b\u0e47\u0e19\u0e41\u0e1a\u0e1a\u0e40\u0e1b\u0e34\u0e14 \u0e08\u0e30\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e19\u0e31\u0e01\u0e1e\u0e31\u0e12\u0e19\u0e32\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e40\u0e23\u0e35\u0e22\u0e01\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e01\u0e32\u0e23\u0e17\u0e33\u0e07\u0e32\u0e19\u0e40\u0e0a\u0e34\u0e07\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e15\u0e38\u0e1c\u0e25\u0e1a\u0e19\u0e44\u0e2e\u0e1a\u0e23\u0e34\u0e14\u0e04\u0e25\u0e32\u0e27\u0e14\u0e4c\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e43\u0e19\u0e27\u0e07\u0e01\u0e27\u0e49\u0e32\u0e07\u0e41\u0e25\u0e30\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e0a\u0e49\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e31\u0e48\u0e19\u0e43\u0e08 \u0e42\u0e14\u0e22\u0e43\u0e0a\u0e49 Red Hat Inference Server \u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e2d\u0e2d\u0e01\u0e41\u0e1a\u0e1a\u0e17\u0e35\u0e48\u0e1c\u0e48\u0e32\u0e19\u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e43\u0e2b\u0e21\u0e48\u0e02\u0e2d\u0e07 NVIDIA Enterprise AI\u201d<\/p>\n\n\n\n<p><strong>\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21<\/strong><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\u0e2d\u0e48\u0e32\u0e19\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e0a\u0e34\u0e07\u0e25\u0e36\u0e01\u0e17\u0e32\u0e07\u0e40\u0e17\u0e04\u0e19\u0e34\u0e04\u0e44\u0e14\u0e49\u0e17\u0e35\u0e48 <a href=\"https:\/\/www.redhat.com\/en\/blog\/red-hat-ai-inference-server-technical-deep-dive\">Red Hat AI Inference Server<\/a><\/li>\n\n\n\n<li>\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a <a href=\"https:\/\/www.youtube.com\/watch?v=ZF8--wVaCuE\">Red Hat AI Inference Server \u0e08\u0e32\u0e01\u0e1c\u0e39\u0e49\u0e1a\u0e23\u0e34\u0e2b\u0e32\u0e23\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17<\/a><\/li>\n\n\n\n<li>\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a <a href=\"https:\/\/red.ht\/45RQJQf\">Red Hat AI<\/a><\/li>\n\n\n\n<li>\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a<a href=\"https:\/\/red.ht\/3RGwShs\"> Red Hat OpenShift AI<\/a><\/li>\n\n\n\n<li>\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a<a href=\"https:\/\/red.ht\/4iqB7sk\"> Red Hat Enterprise Linux AI<\/a><\/li>\n\n\n\n<li>\u0e2d\u0e48\u0e32\u0e19\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e02\u0e2d\u0e07 <a href=\"https:\/\/www.redhat.com\/en\/about\/press-releases\/red-hat-launches-llm-d-community-powering-distributed-gen-ai-inference-scale\">llm-d project<\/a><\/li>\n\n\n\n<li>\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a<a href=\"https:\/\/www.redhat.com\/en\/about\/press-releases\/red-hat-optimizes-red-hat-ai-speed-enterprise-ai-deployments-across-models-ai-accelerators-and-clouds\">\u0e01\u0e32\u0e23\u0e2d\u0e31\u0e1b\u0e40\u0e14\u0e17\u0e25\u0e48\u0e32\u0e2a\u0e38\u0e14\u0e02\u0e2d\u0e07 Red Hat AI<\/a><\/li>\n\n\n\n<li>\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a <a href=\"http:\/\/red.ht\/I2Zk1e\">Red Hat Summit<\/a><\/li>\n\n\n\n<li>\u0e2d\u0e48\u0e32\u0e19\u0e02\u0e48\u0e32\u0e27\u0e2a\u0e32\u0e23\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e02\u0e2d\u0e07\u0e07\u0e32\u0e19 Red Hat Summit \u0e44\u0e14\u0e49\u0e17\u0e35\u0e48 <a href=\"https:\/\/red.ht\/3QrRUAh\">Red Hat Summit newsroom<\/a><\/li>\n\n\n\n<li>\u0e15\u0e34\u0e14\u0e15\u0e32\u0e21 <a href=\"https:\/\/twitter.com\/redhatsummit\">@RedHatSummit<\/a> or <a href=\"https:\/\/twitter.com\/hashtag\/rhsummit\">#RHSummit<\/a> on X for event-specific updates<\/li>\n<\/ul>\n\n\n\n<p><strong>\u0e0a\u0e48\u0e2d\u0e07\u0e17\u0e32\u0e07\u0e01\u0e32\u0e23\u0e15\u0e34\u0e14\u0e15\u0e48\u0e2d\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17<\/strong><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a <a href=\"http:\/\/red.ht\/IOS5vm\">Red Hat<\/a><\/li>\n\n\n\n<li>\u0e2d\u0e48\u0e32\u0e19\u0e02\u0e48\u0e32\u0e27\u0e2a\u0e32\u0e23\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e44\u0e14\u0e49\u0e17\u0e35\u0e48 <a href=\"http:\/\/red.ht\/1qeXuma\">Red Hat newsroom<\/a><\/li>\n\n\n\n<li>\u0e2d\u0e48\u0e32\u0e19\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e44\u0e14\u0e49\u0e17\u0e35\u0e48 <a href=\"http:\/\/red.ht\/1zzgkXp\">Red Hat blog<\/a><\/li>\n\n\n\n<li>\u0e15\u0e34\u0e14\u0e15\u0e32\u0e21 <a href=\"http:\/\/bit.ly\/2FVq6ik\">Red Hat on X<\/a><\/li>\n\n\n\n<li>\u0e15\u0e34\u0e14\u0e15\u0e32\u0e21 <a href=\"https:\/\/red.ht\/4iBsqwB\">Red Hat on Instagram<\/a><\/li>\n\n\n\n<li>\u0e15\u0e34\u0e14\u0e15\u0e32\u0e21 <a href=\"https:\/\/red.ht\/4hHewrv\">Red Hat on LinkedIn<\/a><\/li>\n\n\n\n<li>\u0e0a\u0e21 <a href=\"http:\/\/bit.ly\/JEkzvc\">Red Hat videos on YouTube<\/a><\/li>\n<\/ul>\n\n\n\n<p><strong>\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17<\/strong><\/p>\n\n\n\n<p><a href=\"https:\/\/www.redhat.com\/en\/about\/press-releases\/red-hat-partners-help-promote-hybrid-cloud-apac\">\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17<\/a> \u0e04\u0e37\u0e2d\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e0a\u0e31\u0e49\u0e19\u0e19\u0e33\u0e14\u0e49\u0e32\u0e19\u0e0b\u0e2d\u0e1f\u0e15\u0e4c\u0e41\u0e27\u0e23\u0e4c\u0e42\u0e2d\u0e40\u0e1e\u0e48\u0e19\u0e0b\u0e2d\u0e23\u0e4c\u0e2a\u0e42\u0e0b\u0e25\u0e39\u0e0a\u0e31\u0e19\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23 \u0e42\u0e14\u0e22\u0e43\u0e0a\u0e49\u0e1e\u0e25\u0e31\u0e07\u0e02\u0e2d\u0e07\u0e2a\u0e31\u0e07\u0e04\u0e21\u0e42\u0e2d\u0e40\u0e1e\u0e48\u0e19\u0e0b\u0e2d\u0e23\u0e4c\u0e2a \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e19\u0e33\u0e40\u0e2a\u0e19\u0e2d\u0e40\u0e17\u0e04\u0e42\u0e19\u0e42\u0e25\u0e22\u0e35 Linux, hybrid cloud, container \u0e41\u0e25\u0e30 Kubernetes \u0e17\u0e35\u0e48\u0e40\u0e0a\u0e37\u0e48\u0e2d\u0e16\u0e37\u0e2d\u0e44\u0e14\u0e49 \u0e41\u0e25\u0e30\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e2a\u0e39\u0e07 \u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17 \u0e43\u0e2b\u0e49\u0e01\u0e32\u0e23\u0e2a\u0e19\u0e31\u0e1a\u0e2a\u0e19\u0e38\u0e19\u0e25\u0e39\u0e01\u0e04\u0e49\u0e32\u0e43\u0e19\u0e01\u0e32\u0e23\u0e1c\u0e2a\u0e32\u0e19\u0e23\u0e27\u0e21\u0e41\u0e2d\u0e1b\u0e1e\u0e25\u0e34\u0e40\u0e04\u0e0a\u0e31\u0e19\u0e43\u0e2b\u0e21\u0e48\u0e41\u0e25\u0e30\u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e2d\u0e22\u0e39\u0e48\u0e40\u0e14\u0e34\u0e21 \u0e43\u0e19\u0e01\u0e32\u0e23\u0e1e\u0e31\u0e12\u0e19\u0e32\u0e41\u0e2d\u0e1b\u0e1e\u0e25\u0e34\u0e40\u0e04\u0e0a\u0e31\u0e19\u0e41\u0e1a\u0e1a cloud-native \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e22\u0e01\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e23\u0e30\u0e1a\u0e1a\u0e1b\u0e0f\u0e34\u0e1a\u0e31\u0e15\u0e34\u0e01\u0e32\u0e23\u0e0a\u0e31\u0e49\u0e19\u0e19\u0e33\u0e02\u0e2d\u0e07\u0e20\u0e32\u0e04\u0e2d\u0e38\u0e15\u0e2a\u0e32\u0e2b\u0e01\u0e23\u0e23\u0e21 \u0e23\u0e27\u0e21\u0e16\u0e36\u0e07\u0e1a\u0e23\u0e34\u0e2b\u0e32\u0e23\u0e08\u0e31\u0e14\u0e01\u0e32\u0e23\u0e2a\u0e20\u0e32\u0e1e\u0e41\u0e27\u0e14\u0e25\u0e49\u0e2d\u0e21\u0e17\u0e35\u0e48\u0e0b\u0e31\u0e1a\u0e0b\u0e49\u0e2d\u0e19\u0e43\u0e2b\u0e49\u0e40\u0e1b\u0e47\u0e19\u0e23\u0e30\u0e1a\u0e1a\u0e2d\u0e31\u0e15\u0e42\u0e19\u0e21\u0e31\u0e15\u0e34\u0e41\u0e25\u0e30\u0e1b\u0e25\u0e2d\u0e14\u0e20\u0e31\u0e22 \u0e14\u0e49\u0e27\u0e22\u0e01\u0e32\u0e23\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e14\u0e49\u0e32\u0e19\u0e01\u0e32\u0e23\u0e2a\u0e19\u0e31\u0e1a\u0e2a\u0e19\u0e38\u0e19 \u0e2d\u0e1a\u0e23\u0e21 \u0e41\u0e25\u0e30\u0e43\u0e2b\u0e49\u0e04\u0e33\u0e1b\u0e23\u0e36\u0e01\u0e29\u0e32\u0e17\u0e35\u0e48\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e04\u0e27\u0e32\u0e21\u0e40\u0e0a\u0e37\u0e48\u0e2d\u0e16\u0e37\u0e2d\u0e41\u0e25\u0e30<a href=\"https:\/\/access.redhat.com\/recognition\">\u0e01\u0e32\u0e23\u0e22\u0e2d\u0e21\u0e23\u0e31\u0e1a<\/a>\u0e14\u0e49\u0e27\u0e22\u0e23\u0e32\u0e07\u0e27\u0e31\u0e25\u0e21\u0e32\u0e01\u0e21\u0e32\u0e22 \u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e08\u0e36\u0e07\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e44\u0e27\u0e49\u0e27\u0e32\u0e07\u0e43\u0e08\u0e43\u0e19\u0e01\u0e32\u0e23\u0e40\u0e1b\u0e47\u0e19<a href=\"https:\/\/www.redhat.com\/en\/about\/trusted?sc_cid=70160000000e5syAAA\">\u0e17\u0e35\u0e48\u0e1b\u0e23\u0e36\u0e01\u0e29\u0e32\u0e41\u0e01\u0e48\u0e1a\u0e23\u0e34\u0e29\u0e31\u0e17\u0e43\u0e19\u0e40\u0e04\u0e23\u0e37\u0e2d Fortune 500<\/a> \u0e14\u0e49\u0e27\u0e22\u0e1a\u0e17\u0e1a\u0e32\u0e17\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17 \u0e43\u0e19\u0e01\u0e32\u0e23\u0e40\u0e1b\u0e47\u0e19\u0e1e\u0e31\u0e19\u0e18\u0e21\u0e34\u0e15\u0e23\u0e15\u0e48\u0e2d\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e04\u0e25\u0e32\u0e27\u0e14\u0e4c \u0e1c\u0e39\u0e49\u0e40\u0e0a\u0e35\u0e48\u0e22\u0e27\u0e0a\u0e32\u0e0d\u0e14\u0e49\u0e32\u0e19\u0e01\u0e32\u0e23\u0e1c\u0e19\u0e27\u0e01\u0e23\u0e27\u0e21\u0e23\u0e30\u0e1a\u0e1a \u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e41\u0e2d\u0e1b\u0e1e\u0e25\u0e34\u0e40\u0e04\u0e0a\u0e31\u0e19 \u0e25\u0e39\u0e01\u0e04\u0e49\u0e32 \u0e41\u0e25\u0e30\u0e0a\u0e38\u0e21\u0e0a\u0e19\u0e42\u0e2d\u0e40\u0e1e\u0e48\u0e19\u0e0b\u0e2d\u0e23\u0e4c\u0e2a \u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17 \u0e08\u0e30\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e2a\u0e19\u0e31\u0e1a\u0e2a\u0e19\u0e38\u0e19\u0e41\u0e25\u0e30\u0e1c\u0e25\u0e31\u0e01\u0e14\u0e31\u0e19\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23 \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e23\u0e31\u0e1a\u0e01\u0e31\u0e1a\u0e42\u0e25\u0e01\u0e14\u0e34\u0e08\u0e34\u0e17\u0e31\u0e25\u0e41\u0e2b\u0e48\u0e07\u0e2d\u0e19\u0e32\u0e04\u0e15<\/p>\n\n\n\n<p><strong>Forward-Looking Statements<\/strong><\/p>\n\n\n\n<p>Except for the historical information and discussions contained herein, statements contained in this press release may constitute forward-looking statements within the meaning of the Private Securities Litigation Reform Act of 1995. Forward-looking statements are based on the company\u2019s current assumptions regarding future business and financial performance. These statements involve a number of risks, uncertainties and other factors that could cause actual results to differ materially. Any forward-looking statement in this press release speaks only as of the date on which it is made. Except as required by law, the company assumes no obligation to update or revise any forward-looking statements.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Red Hat AI Inference Server \u0e02\u0e31\u0e1a\u0e40\u0e04\u0e25\u0e37\u0e48\u0e2d\u0e19\u0e42\u0e14\u0e22 vLLM \u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e14\u0e49\u0e27\u0e22\u0e40\u0e17\u0e04\u0e42\u0e19\u0e42\u0e25\u0e22\u0e35\u0e02\u0e2d\u0e07 Neural Magic \u0e21\u0e2d\u0e1a\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19 AI \u0e17\u0e35\u0e48\u0e40\u0e23\u0e47\u0e27\u0e02\u0e36\u0e49\u0e19 \u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e2a\u0e39\u0e07 \u0e41\u0e25\u0e30\u0e04\u0e38\u0e49\u0e21\u0e04\u0e48\u0e32\u0e43\u0e0a\u0e49\u0e08\u0e48\u0e32\u0e22 \u0e17\u0e33\u0e07\u0e32\u0e19\u0e44\u0e14\u0e49\u0e01\u0e31\u0e1a\u0e17\u0e38\u0e01\u0e44\u0e2e\u0e1a\u0e23\u0e34\u0e14\u0e04\u0e25\u0e32\u0e27\u0e14\u0e4c &nbsp;\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17 \u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e42\u0e0b\u0e25\u0e39\u0e0a\u0e31\u0e19\u0e42\u0e2d\u0e40\u0e1e\u0e48\u0e19\u0e0b\u0e2d\u0e23\u0e4c\u0e2a\u0e0a\u0e31\u0e49\u0e19\u0e19\u0e33\u0e02\u0e2d\u0e07\u0e42\u0e25\u0e01 \u0e1b\u0e23\u0e30\u0e01\u0e32\u0e28\u0e40\u0e1b\u0e34\u0e14\u0e15\u0e31\u0e27 Red Hat AI Inference Server \u0e01\u0e49\u0e32\u0e27\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e17\u0e35\u0e48\u0e08\u0e30\u0e17\u0e33\u0e43\u0e2b\u0e49 generative AI (gen AI) \u0e01\u0e25\u0e32\u0e22\u0e40\u0e1b\u0e47\u0e19\u0e40\u0e17\u0e04\u0e42\u0e19\u0e42\u0e25\u0e22\u0e35\u0e17\u0e35\u0e48\u0e43\u0e04\u0e23\u0e01\u0e47\u0e43\u0e0a\u0e49\u0e44\u0e14\u0e49\u0e1a\u0e19\u0e44\u0e2e\u0e1a\u0e23\u0e34\u0e14\u0e04\u0e25\u0e32\u0e27\u0e14\u0e4c\u0e17\u0e38\u0e01\u0e41\u0e2b\u0e48\u0e07 \u0e42\u0e0b\u0e25\u0e39\u0e0a\u0e31\u0e19\u0e43\u0e2b\u0e21\u0e48\u0e19\u0e35\u0e49\u0e19\u0e33\u0e40\u0e2a\u0e19\u0e2d\u0e2d\u0e22\u0e39\u0e48\u0e43\u0e19 Red Hat AI \u0e40\u0e1b\u0e47\u0e19\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e17\u0e35\u0e48\u0e40\u0e01\u0e34\u0e14\u0e08\u0e32\u0e01\u0e42\u0e1b\u0e23\u0e40\u0e08\u0e01\u0e15\u0e4c\u0e08\u0e32\u0e01 vLLM community \u0e2d\u0e31\u0e19\u0e17\u0e23\u0e07\u0e1e\u0e25\u0e31\u0e07 \u0e41\u0e25\u0e30\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e14\u0e49\u0e27\u0e22\u0e01\u0e32\u0e23\u0e1c\u0e2a\u0e32\u0e19\u0e23\u0e27\u0e21\u0e40\u0e02\u0e49\u0e32\u0e01\u0e31\u0e1a\u0e40\u0e17\u0e04\u0e42\u0e19\u0e42\u0e25\u0e22\u0e35 Neural Magic \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e40\u0e23\u0e47\u0e27\u0e21\u0e32\u0e01\u0e02\u0e36\u0e49\u0e19 \u0e0a\u0e48\u0e27\u0e22\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e43\u0e2b\u0e49 accelerator \u0e41\u0e25\u0e30\u0e04\u0e38\u0e49\u0e21\u0e04\u0e48\u0e32\u0e43\u0e0a\u0e49\u0e08\u0e48\u0e32\u0e22 \u0e40\u0e1b\u0e47\u0e19\u0e01\u0e32\u0e23\u0e15\u0e2d\u0e1a\u0e27\u0e34\u0e2a\u0e31\u0e22\u0e17\u0e31\u0e28\u0e19\u0e4c\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e49\u0e14\u0e41\u0e2e\u0e17\u0e43\u0e19\u0e01\u0e32\u0e23\u0e21\u0e2d\u0e1a\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e42\u0e21\u0e40\u0e14\u0e25 gen AI \u0e43\u0e14 \u0e46 \u0e1a\u0e19 AI accelerator \u0e43\u0e14 \u0e46&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-14853","post","type-post","status-publish","format-standard","hentry","category-11"],"_links":{"self":[{"href":"https:\/\/chillandfin.com\/index.php?rest_route=\/wp\/v2\/posts\/14853","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/chillandfin.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/chillandfin.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/chillandfin.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/chillandfin.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=14853"}],"version-history":[{"count":1,"href":"https:\/\/chillandfin.com\/index.php?rest_route=\/wp\/v2\/posts\/14853\/revisions"}],"predecessor-version":[{"id":14855,"href":"https:\/\/chillandfin.com\/index.php?rest_route=\/wp\/v2\/posts\/14853\/revisions\/14855"}],"wp:attachment":[{"href":"https:\/\/chillandfin.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=14853"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/chillandfin.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=14853"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/chillandfin.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=14853"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}