AI — 총 15개의 글
샘 올트먼이 스마트폰을 버리고 5GW 전력망에 집착하는 이유
샘 올트먼의 심층 인터뷰를 통해 OpenAI가 조니 아이브와 설계 중인 자체 하드웨어와 전력 장벽, 그리고 재귀적 자기개선(RSI)의 수학적 수렴 한계를 공학적으로 분석합니다.
맥에서 올라마(Ollama)가 느린 이유와 대역폭 계산법
애플 실리콘 통합 메모리 환경에서 올라마(Ollama)로 대형 언어 모델 구동 시 발생하는 속도 저하 원인을 분석하고, 메탈 엔진 교체 배경과 Modelfile 대역폭 최적화 튜닝법을 정리합니다.
GPT-6 Astra 출력은 100만 토큰에 50달러, Sol의 5배인데 언제 쓸까
GPT-6 Astra는 입력이 272K 토큰을 넘으면 요청 전체 단가가 오르고, 캐시 유무로 20번 호출 요금이 22달러와 6달러로 갈립니다. 처리 방식·옮길 때 깨지는 호출·감시를 계산으로 정리했습니다.
Meta의 첫 프런티어 모델 Muse Wonder, 더 강한 Full은 API에서 쓸 수 없다
Wonder Full은 모델 카드 14개 시험 중 7곳에서 경쟁 세 모델을 앞서지만 API로는 쓸 수 없고, API의 Wonder는 입력 $4·출력 $20에 4곳에서 앞섭니다.
54GB 모델이 6GB로 줄었다, 노트북에서 도는 27B 모델 Bonsai 2
Bonsai 2 27B가 54GB를 5.95GB로 줄이는 과정을 파일, 행렬, 128칸 묶음, 회전 변환, 속도, 메모리 순으로 뜯어 보고 점수가 깎인 자리를 14개 항목으로 짚습니다.
입력 100만 토큰당 0.042달러에 출력은 무료, 판단만 하는 모델 Jev
Jev의 단가·배수·지연·외부 시험 숫자를 누가 어떤 조건에서 쟀는지로 읽고, 10월에 쏟아진 경쟁 모델과 확신도 계산, 약점과 보안 보고를 정리했습니다.
매개변수는 커졌는데 메모리는 4분의 1, DeepSeek V4.1 Flash의 KV 캐시 다이어트
DeepSeek V4.1 Flash의 4분의 1, 8분의 1, 890바이트는 각각 다른 것을 센 값입니다. 40개 층 중 네 층이 890을 만들고, 가중치 511GB는 이 숫자 밖에 있습니다.
민감한 파일은 내 맥에 남기고 검색만 클라우드로 보내는 Perplexity 하이브리드 컴퓨트
맥에 남는 것과 클라우드로 가는 것의 경계를 따라가며 Privacy Gate의 네 판정, 0.6B 검문 모델 PII-Tracer의 수치, 첫 설정 순서를 풀었습니다.
쉬운 질문에도 비싼 모델을 쓰고 있진 않나요, LLM 라우팅으로 비용 줄이는 법
강한 모델에 질문의 13.4%만 보내도 품질 95%에 닿는다는 논문 표로 비용 곡선을 그리고, 챗봇 100만 건의 청구서와 손익분기, 라우터를 놓을 자리 네 곳을 계산했습니다.
HOTOpenAI가 공개한 수학 원고 722편, 진짜 확인된 건 몇 편일까
OpenAI 수학 원고는 722편에서 719편이 됐고 Lean이 붙은 건 300 / 719입니다. 묶음 372, 문제 4,000, 안내 문서 242는 각각 센 단위가 다릅니다.