[LM Studio, AnythingLLM]

저장이나 활용 하지 않는 다고 해도, 응답을 위해 기밀 데이터를 llm에 전달해야 한다면, 기업이나 개인은 찝찝하지 않을 수 없다.

외부 제공 llm이 아닌 자체 llm을 사용하면 좋겠지만, 돈이 너무 많이 들어서 거의 모든 기업들은 입을 열 수 없는 일이다.

메타는 llm을 오픈소스로 공개한다. Llama라는 이름으로. 버전은 2까지 나왔다. 곧 3가 나온다고 한다. 우리는 오픈소스 llm은 Llama만 쳐다 본다.

LM Studio는 LLaMa, Falcon, MPT, StarCoder 와 같은 허깅페이스에 공유된 llm을 로컬(오프라인)에 다운로드 하고 실행할 수 있는 플랫폼이다. 개인 용도로는 무료.

비슷한 것 – AnythingLLM

[ Copilot ]

Cognition에서 ai 소프트웨어 엔지니어인 Devin을 발표했다. 더 알아봐야 겠지만, 소프트웨어 개발에 꽤 괜찮은 copilot이 등장한 것 같다. 세계 최초 완전 자율 AI 소프트웨어 엔지니어라고 한다. Devin은 ai니 끊임없이 열심히 일하겠지? 그래 봐야 copilot. 당신은 pilot. Devin과 협력해서 더 흥미로운 일을 하자. ai agent로 포지션 하고 있지만 open source가 아니라는 점에서 copilot에 자리 잡아줬다.
Devin 데모를 자세히 살펴보고, 어떤 점에서 독특한지, 어떻게 이런 놀라운 출시를 이뤘는지 알아보는 유튜브 영상이 있다.
이 영상을 보면, 대표가 Scott Woo인데. 천재다. 2,100만 달러의 시리즈 A 투자를 받았단다. 투자가 들어온다는 것은 더 나아질 것을 기대한다는 .
Scott Woo는 Devin이 문제를 해결하기 위한 단계별 계획을 세운다고 한다. 그 후, 인간 소프트웨어 엔지니어가 사용하는 도구를 모두 활용하여 프로젝트를 구축한다고 한다. 이거 대박이다. 단순하게 코딩해 주는 게 아니라는 거지. 예상치 못한 오류를 만나면 디버깅 프린트 문을 추가하고 로그의 오류를 사용하여 버그를 수정하는 방법을 결정한다고 한다. 이렇게 할 정도니 웹 사이트 만들고 배포하고 확인 하는 것 정도야 쉽게 하겠지.

[ AI Agent ]

crewAI
웹 페이지 설명: crewAI를 사용하여 멀티 에이전트 자동화를 구축하고, API로 변환하고, 템플릿을 사용하고, 모델을 선택하고, 간단하고 효과적인 프로세스를 따릅니다.

[ AI 역량 개발 ]

ai 관련 유튜브 영상들이 매일 매일 쌓인다. 영어권 유튜버들이 대부분 이기 때문에 우리는 도움이 필요하다.

Kome, 다음과 같은 기능들을 제공한다. AI-Powered Summarizer, Bookmark Manager, Smart Compose, YouTube Transcript Generator, PDF to Text Convert
유투브 영상을 transcribe해 보면, 문장 부호를 사용하지 않아 문장 구분이 잘 안 된다. 그럴 때는 transcribe된 내용을 윈도우 코파일럿에 붙이고, 지시를 추구 한다. ‘위 글에 문장 부호를 사용해서 문단을 나눠주세요.’ 윈도우 코파일럿 사용할 때 이전 내용을 그대로 응답할 때가 있으니 글이 길때 부분 잘라서 할 때, 새로 고침하고 하자.
요약을 잘 주는 것도 있다. https://www.summarize.tech/
Glarity: Summarize & Translate Any Page, 이것 꼭 설치해서 사용해 보자. 우리는 크롬 확장 설치했다. 너무 너무 도움이 된다.