태그 · #llm

MuonGS, 그람-슈미트 프로젝션으로 LLM 사전 학습 효율성 향상

읽어야 하는 이유 개발자는 엄격한 노름 제어의 탐색 한계를 피하는 MuonGS로 전환하여 더 빠른 수렴과 더 나은 최종 손실을 달성할 수 있습니다.

새로운 MuonGS 옵티마이저는 그람-슈미트 프로젝션을 적용해 가중치 노름 제약을 완화하고, 대규모 언어 모델의 검증 퍼플렉시티와 학습 속도를 개선합니다.

28 OCT 2 分鐘 실전 노트 llm optimizers pretraining muon

BeNice! KV 공유를 통해 루핑 모델의 추론-메모리 격차 해소

읽어야 하는 이유 이 방법은 키-값 캐시를 재사용하여 제한된 하드웨어에서 더 긴 컨텍스트와 높은 처리량을 가능하게 함으로써, 루핑 아키텍처의 치명적인 메모리 병목 현상을 해결합니다.

연구진은 KV 캐시 공유를 가능하게 하는 BeNice!를 제안하여, 품질 저하 없이 메모리 사용량을 줄이고 추론 처리량을 향상시켰습니다.

24 OCT 3 分鐘 실전 노트 llm inference memory optimization

시나리오-액터: LLM을 위한 적응형 온도 선택

읽어야 하는 이유 의사소통 설정의 기하학적 표현을 사용하여 고정된 휴리스틱을 넘어설 뿐만 아니라 지시 따름 및 사회적 상황 성능을 향상시킵니다.

숨겨진 상태의 상황적 특성을 추론하여 LLM 디코딩 온도를 적응적으로 조정하는 새로운 프레임워크.

14 OCT 2 分鐘 실전 노트 llm temperature decoding transformer

WUSH-KV: 저비트 KV 캐시 양자화를 위한 데이터 적응형 변환

읽어야 하는 이유 새로운 양자화 기법을 통해 메모리 대역폭 병목 현상을 줄여 긴 컨텍스트 추론을 최적화합니다.

WUSH-KV는 데이터 적응형 변환을 사용하여 KV 캐시 메모리 비용을 줄이고, 2비트 양자화에서도 낮은 퍼플렉시티를 달성합니다.

30 SEP 2 分鐘 실전 노트 quantization llm inference memory

SemMSA: 불완전한 데이터로 강건한 다중 모달 감정 분석

읽어야 하는 이유 이 프레임워크는 재구성이 아닌 잠재적 의미론을 사용하여 MSA의 일반적인 모달리티 누락 문제를 해결하며, 실제 응용 분야를 위한 강건한 대안을 제시합니다.

SemMSA는 LLM과 스펙트럼 정렬을 활용하여 누락된 데이터 상황에서도 최첨단 성능을 달성하는 강건한 다중 모달 감정 분석 프레임워크입니다.

25 SEP 3 分鐘 실전 노트 mmsa llm spectral-alignment incomplete-data

SWE-Flux 벤치마크, LLM의 런타임 추론 능력 한계 드러내

읽어야 하는 이유 LLM은 여전히 런타임 동작 추론에 약합니다. SWE-Flux는 실제 Python 저장소 전반에 걸친 이 격차를 측정하기 위한 엄격하고 자동화된 벤치마크를 제공합니다.

새로운 SWE-Flux 벤치마크는 최고 LLM들이 동적 실행 추론 작업에서 37%의 정확도만 달성함을 보여줍니다.

24 SEP 3 分鐘 실전 노트 llm benchmark runtime python

Flash-dLLM: 빠른 메모리 효율적 확산 LLM을 위한 I/O 인식 KV 캐싱 및 병렬 디코딩

읽어야 하는 이유 확산 기반 언어 모델을 다루는 연구자 및 엔지니어는 이 학습 없는 가속 프레임워크를 채택하여 추론 지연 시간과 메모리 오버헤드를 크게 줄일 수 있습니다.

Flash-dLLM은 보조 모델 없이 확산 LLM을 가속화하기 위해 I/O 인식 융합 KV-캐시 커널과 병렬 디코딩 전략을 도입합니다.

23 SEP 2 分鐘 실전 노트 llm diffusion gpu optimization

LoRA 생성 하이퍼네트워크를 통한 효율적인 온디바이스 LLM 개인화

읽어야 하는 이유 이 접근 방식은 경량의 LoRA 가중치를 로컬에서 합성하여 온디바이스 LLM의 컴퓨팅 및 지연 시간 제약을 해결하며, 클라우드 의존성 없이 고품질 개인화를 가능하게 합니다.

온디바이스 LLM 개인화를 위해 하이퍼네트워크를 사용하여 LoRA 어댑터를 생성하는 새로운 방법으로, ICL의 지연 시간과 PEFT의 저장소 비용을 균형 있게 조정합니다.

22 SEP 2 分鐘 실전 노트 llm personalization lora on-device

SWE-Gate 벤치마크: 테스트 통과와 실제 코드 수용 사이의 격차 드러내다

읽어야 하는 이유 개발자들은 기능적 성공이 배포 가능한 코드 품질과 같지 않다는 점을 알아야 합니다.

새 벤치마크는 코딩 에이전트가 기능 테스트를 통과해도 리뷰 제약 조건을 충족하지 못하는 경우가 많음을 보여줍니다.

04 SEP 2 分鐘 실전 노트 benchmarks llm software-engineering code-review

TTPO, 비대칭 정책 최적화로 레이블 없이 수학 추론 달성

읽어야 하는 이유 엔지니어는 비용이 높거나 사용할 수 없는 정답 레이블에 의존하지 않고도 테스트 시점에 LLM의 추론 능력을 향상시킬 수 있습니다.

TTPO는 다수결 의사 레이블을 활용하여, 정답 데이터 없이도 대회 수준 수학 벤치마크에서 지도 학습과 동등한 성능을 달성합니다.

29 AUG 2 分鐘 실전 노트 llm reinforcement-learning test-time-training math-reasoning

SWE-Prime 가 더 적은 궤적을 사용하여 모델 성능 향상

읽어야 하는 이유 개발자들은 소음 있는 지도 학습이 모델을 바람직하지 않은 문제 해결 행동을 모방하도록 유도할 수 있으므로 관심을 가져야 합니다.

새로운 방법 SWE-Prime 는 대규모 언어 모델이 실제 세계 소프트웨어 문제를 해결하는 능력을 개선하기 위해 훈련 데이터를 필터링합니다. 소음 있는 지도 학습은 모델이 바람직하지 않은 문제 해결 행동을 모방하도록 유도할 수 있어 개발자는 이를 주의해야 합니다.

28 AUG 2 分鐘 실전 노트 llm software training sft

LLM 에이전트의 작업 간 기술 이전: 하위 작업과 텍스트의 승리

읽어야 하는 이유 자율 에이전트를 개발하는 개발자는 메모리를 텍스트 형식의 하위 작업으로 구조화하여 신뢰성을 높일 수 있습니다. 제안된 유틸리티 점수는 효과적인 기술을 선별하기 위한 실행 전 진단 기능을 제공합니다.

연구에 따르면 하위 작업 수준의 유도 및 텍스트 형식이 코드 기반 방법보다 더 나은 성능을 보이는 LLM 에이전트의 신뢰할 수 있는 기술 이전을 가능하게 합니다.

22 AUG 3 分鐘 실전 노트 llm agents skill-transfer memory

MidTool: 중간 훈련을 통한 에이전트 능력 강화

읽어야 하는 이유 이 연구는 전임 훈련만 의존하는 것보다 강력한 에이전트 도구 사용을 위해 전용 중간 훈련이 필수적임을 보여주며, 대규모 언어 모델(LLM)에 대한 우월한 대안을 제시합니다.

MidTool은 웹 데이터와 합성 API 감독을 결합하여 Qwen3 모델의 일반 도구 사용 능력을 크게 향상시키는 중간 훈련 파이프라인을 소개합니다.

22 AUG 1 分鐘 실전 노트 mid-training tool-use llm agentic-ai

OpenAI, GPT-5.6 Sol·Terra·Luna 프리뷰 공개 — 美 정부 승인이라는 접근 관문 뒤에서

읽어야 하는 이유 OpenAI의 처리 용량이 아니라 정부 승인이 프런티어 모델 출시의 관문이 되는 이런 새로운 거버넌스 패턴은 빌더들이 앞으로도 다시 보게 될 것이다.

OpenAI가 6월 26일 GPT-5.6 Sol/Terra/Luna를 공개했다. Sol은 Terminal-Bench 2.1에서 91.9%를 기록했지만, 접근은 정부 승인을 받은 약 20개 파트너로 제한된다.

30 JUN 3 分鐘 실전 노트 openai gpt-5.6 frontier-model llm

Zhipu AI, GLM-5.2 오픈 웨이트 공개: 100만 토큰 컨텍스트, GPT-5.5 6분의 1 비용으로 최고 오픈소스 코딩 모델

읽어야 하는 이유 오픈 웨이트와 최전선 폐쇄형 모델 간 격차는 이제 한 자릿수 벤치마크 점수로 측정된다. 셀프 호스팅 개발자에게 GLM-5.2는 에이전트 코딩의 「자체 구축 vs 구매」 계산을 바꾼다.

Z.ai가 6월 17일 GLM-5.2를 MIT 라이선스로 공개 — 100만 토큰 컨텍스트를 갖춘 7,530억 파라미터 MoE로, 오픈소스 코딩 벤치마크 1위에 비용은 GPT-5.5의 약 6분의 1.

17 JUN 3 分鐘 실전 노트 zhipu glm open-weights coding

Google, Gemini 3.5 Pro 최종 프리뷰 단계 돌입 — 200만 토큰 컨텍스트와 Deep Think 추론

읽어야 하는 이유 개발자가 먼저 확인해야 할 것은 가격과 무료 체험 기간. 입력 100만 토큰당 $15, 출력 $60의 가격은 시험용이 아닌 실전 사용을 위한 설정이다.

Gemini 3.5 Pro가 200만 토큰 컨텍스트 윈도우와 Deep Think 추론을 탑재하고 최종 Vertex 엔터프라이즈 프리뷰에 진입. 2026년 6월 중 GA 출시 임박.

10 JUN 1 分鐘 실전 노트 google gemini frontier-model multimodal

Anthropic, Claude Fable 5 출시: 대중이 마침내 만져볼 수 있는 Mythos급 프런티어 모델

읽어야 하는 이유 하나의 프런티어 모델, 두 가지 출시: 가드레일을 두른 공개판과 제한된 완전판. 빌더가 먼저 확인해야 할 것은 가격, 무료 기간, 안전 분류기의 폴백 동작이다.

Anthropic이 최초의 공개 Mythos급 모델 Claude Fable 5를 출시했다. 가격은 100만 토큰당 입력 $10/출력 $50. 제한 해제판 Mythos 5는 심사를 거친 파트너 전용이다.

09 JUN 5 分鐘 실전 노트 anthropic claude fable-5 mythos-5

마이크로소프트가 자체 코딩 모델을 GitHub Copilot에 투입하다: MAI-Code-1-Flash가 빌더에게 갖는 의미

읽어야 하는 이유 GitHub Copilot에서 살다시피 한다면, 이번 주 커서 아래의 기본 모델이 조용히 바뀌었을 수 있다. 실제로 무엇이 출시됐고 어떻게 알아보는지 정리한다.

마이크로소프트는 Build 2026에서 5B 자체 코딩 모델을 VS Code에 넣고 35B 추론 모델도 출시했다——둘 다 OpenAI 증류 없이 학습.

08 JUN 5 分鐘 microsoft github-copilot coding-models llm

마이크로소프트, OpenAI 의존도를 낮추기 위해 첫 추론 모델을 포함한 7개의 자체 MAI 모델 출시

읽어야 하는 이유 대형 플랫폼 소유자가 자사의 추론 모델을 출시하고 이를 OpenAI에 비용을 덜 지불하는 방법이라고 공개적으로 규정하는 것은 단순한 제품 출시가 아니라 구조적인 이야기이다 — 그것은 프런티어 모델 공급망 전체를 다시 가격 매긴다.

6월 2일 Build 2026에서 마이크로소프트는 비용을 낮추고 OpenAI 의존도를 줄이기 위해 추론 모델 MAI-Thinking-1을 필두로 처음부터 구축한 7개의 MAI 모델을 출시했다.

07 JUN 4 分鐘 microsoft mai reasoning-models openai

DeepSeek V4·Kimi K2.6·GLM-5.1·MiniMax M2.7: 프론티어급 코딩 모델, 5~25배 낮은 비용

중국 4개 랩이 12일 만에 프론티어급 코딩 모델 출시. GLM-5.1(MIT)이 SWE-Bench Pro에서 Kimi K2.6과 58.4%로 동률. 비용 차이는 서방 API의 5~25분의 1.

07 MAY 2 分鐘 실전 노트 open-weights deepseek llm coding-models