[의견] 지금 우리에게 NPU가 필요한가?
purplemountain
오늘 우연히 보게된 아래 영상에서는 그 답이 분명하지 않다고 하고 있습니다.
NPU가 매우 유용할 가능성이 있지만 대부분의 AI 워크로드를 실행하는데 필수적이지 않고, 최고의 성능은 GPU가 답이니까요.
하지만, 여기서 좀 더 제 의견을 피력해 보면, 당장은 NPU가 필수적이라고 할 수는 없겠습니다. 그럼, 언제가 필수적이냐를 설명하면 되겠죠. 즉, 네트워크를 위한 ChatGPT 같은 서비스가 아니라 로컬 디바이스에서 NPU가 필요한 경우를 생각해 보면 됩니다.
- 데이터 프라이버시: 우리가 ChatGPT등에게 질문하고 제공한 내용은 학습에 이용됩니다. 하지만 개인정보가 중요한 의료 데이터, 금융 데이터 등의 민감한 정보를 클라우드로 노출하지 않고 기기 내에서 처리해야 할 경우 NPU는 필수적입니다.
- 실시간 처리가 중요한 경우: 느린 응답이 허용되지 않는 자율주행차, 스마트 팩토리 처럼 즉각적인 반응이 필요한 경우
- 오프라인 환경: 인터넷 연결이 불안정하거나 전혀 없는 환경인 경우
- 에너지 효율성이 중요한 경우: NPU는 기본적으로 GPU보다 에너지 효율적입니다. 비용도 상대적으로 저렴하고 크기도 작게 설계되어 있지만 상대적으로 강력하지는 않습니다. 하지만, 모바일 장치의 경우에는 에너지 효율성이 더 중요하겠죠. GPU와 배터리를 가방으로 메고 다닐 것이 아니라면 말이죠.
따라서 NPU는 Desktop PC 같은 환경이 아닌 스마트폰, IoT나 웨어러블 기기 또는 자율주행 자동차 처럼 빠른 응답이 필요한 경우엔 상대적으로 유용합니다. 다만, 현 시점에서 이런 장치에서 NPU를 활용할 서비스가 아직 없기 때문에, "당장" 필요한 것은 아니라고 생각합니다.
https://youtu.be/a9NprGqBr54?si=ojQTaijHJAkNVOee
alpine-snow님 포함 8명이 추천
댓글 12
댓글 쓰기
1등 
2등 AI폰이니 뭐니 하는것도 기믹이죠. 성능이 상향평준화 된 지금, 플래그쉽은 마케팅 포인트가 많지 않습니다. 언제나 최상급 성능, 최상급 카메라, 최상급 디스플레이, 기타 등등이요. 근데 마침 AI 붐이 오게 되었고 이를 마케팅 포인트로 삼게 된 것 같습니다. 그리고 거짓말은 할 수 없으니 NPU까지 넣어가며 전세대와 차별화를 시도하는거구요.
3등 
PC에서는 그렇겠지만 제가 있는 자동차 쪽에서는 주행보조, 자율주행, 운전자 모니터링 등 안전 관련 AI 기능을 임베디드 NPU로 돌리는 것이 보편화되는 추세입니다. GPU의 성능은 강력하지만 떨어지는 에너지 효율과 이로 인한 열 발생이 너무 심해서 문제가 되더군요.
ondvice ai가 아직은 애매한게 함정이죠
신고
"님의 댓글"
이 댓글을 신고하시겠습니까?
