Category 테크 뉴스

[기술 동향] AWS Machine Learning – P-EAGLE: Faster LLM inference with Parallel Speculative Deco

🌍 AWS Machine Learning 기술 동향 분석 💡 핵심 요약 P-EAGLE은 대규모 언어 모델(LLM) 추론 속도 개선을 위한 Speculative Decoding 기술인 EAGLE의 한계를 극복한 병렬 드래프팅 방식입니다. 기존 EAGLE이 드래프트 토큰을 순차적으로 생성하며 발생하는 병목 현상을 해결, K개의 드래프트 토큰을…

[기술 동향] NVIDIA Developer – Build Next-Gen Physical AI with Edge‑First LLMs for Autonomo

🌍 NVIDIA Developer 기술 동향 분석 💡 핵심 요약 NVIDIA는 자율주행차(AV)와 로봇 공학 분야의 ‘Physical AI’ 시대를 열기 위해 엣지 디바이스에 최적화된 LLM(Large Language Model) 솔루션을 강조하고 있습니다. 단순히 LLM을 구동하는 것을 넘어, 제한된 전력 및 지연 시간 환경에서 고정밀…

[기술 동향] NVIDIA Developer – Validate Kubernetes for GPU Infrastructure with Layered, Rep

🌍 NVIDIA Developer 기술 동향 분석 💡 핵심 요약 NVIDIA는 복잡하고 일관성 없는 GPU 기반 AI 클러스터의 Kubernetes 환경 구축 및 운영 문제를 해결하기 위해 오픈소스 프로젝트 ‘AI Cluster Runtime (ACR)’을 발표했습니다. ACR은 저수준 드라이버부터 고수준 워크로드 설정까지 전체 소프트웨어…

[기술 동향] NVIDIA Developer – Build Accelerated, Differentiable Computational Physics Code

🌍 NVIDIA Developer 기술 동향 분석 💡 핵심 요약 NVIDIA Warp는 GPU 가속 및 미분 가능한(Differentiable) 컴퓨팅을 통해 AI 기반의 차세대 CAE(컴퓨터 지원 엔지니어링) 시대를 여는 핵심 기술입니다. 이는 기존의 인간 주도 시뮬레이션 워크플로우를 AI가 물리 법칙을 학습하고 예측하는 ‘Physics…

[기술 동향] AWS Machine Learning – Multimodal embeddings at scale: AI data lake for media and e

🌍 AWS Machine Learning 기술 동향 분석 💡 핵심 요약 AWS는 Nova Multimodal Embeddings와 OpenSearch Service를 활용하여 대규모 비디오 데이터에 대한 시맨틱 검색 시스템 구축 방안을 제시했습니다. 이 솔루션은 수동 태그나 키워드 기반 검색의 한계를 넘어, 비디오의 오디오-비디오 정보를 결합한…

[기술 동향] AWS Machine Learning – Secure AI agents with Policy in Amazon Bedrock AgentCore

🌍 AWS Machine Learning 기술 동향 분석 💡 핵심 요약 AWS는 Bedrock AgentCore의 정책(Policy) 기능을 통해 AI 에이전트의 보안 문제를 해결하는 새로운 접근법을 제시했습니다. 기존에는 에이전트 코드 내부에 보안 로직을 포함했으나, 이는 LLM의 비예측성, 환각 현상, 프롬프트 인젝션 공격에 취약했습니다.…

[기술 동향] AWS Machine Learning – Improve operational visibility for inference workloads on Am

🌍 AWS Machine Learning 기술 동향 분석 💡 핵심 요약 AWS Bedrock 사용자를 위해 추론 워크로드의 운영 가시성을 획기적으로 개선하는 두 가지 새로운 CloudWatch 지표, TimeToFirstToken (TTFT)과 EstimatedTPMQuotaUsage가 출시되었습니다. 이는 스트리밍 애플리케이션의 사용자 체감 응답성을 측정하고, 토큰 번다운 승수(token burndown…

[기술 동향] Microsoft Research – Systematic debugging for AI agents: Introducing the AgentRx

🌍 Microsoft Research 기술 동향 분석 💡 핵심 요약 Microsoft Research의 AgentRx는 장기적이고 확률적이며 다중 에이전트 환경에서 발생하는 AI 에이전트의 복잡한 실패 원인을 체계적으로 디버깅하기 위한 프레임워크입니다. 이 프레임워크는 도구 스키마 및 도메인 정책으로부터 실행 가능한 제약 조건을 자동으로 생성하고,…

[기술 동향] NVIDIA Developer – Introducing Nemotron 3 Super: An Open Hybrid Mamba-Transform

🌍 NVIDIA Developer 기술 동향 분석 💡 핵심 요약 NVIDIA는 에이전트 AI 시스템을 위한 개방형 모델 ‘Nemotron 3 Super’를 발표했습니다. 이 모델은 Transformer의 강력한 추론 능력과 Mamba(State Space Model)의 효율적인 장문 처리 능력을 결합한 하이브리드 아키텍처에, MoE(Mixture of Experts) 기술을…

핫딜
테크뉴스
검색