웹사이트 자동 클리퍼
배경
LLM 회사들은 당신의 일거수 일투족을 감시해서, 그걸로 뭔가 컨텍스트를 만들고 싶어합니다. 왜냐구요? 당신을 더 잘 프로파일링 해야 더 비싼 광고를 내보낼 수 있으니까요! 이미 쟤네들은 당신의 세금 보고 대화내역을 통해 당신의 연 소득을 알고 있다구요, 이제 관심사만 쪼끔 얻어내면…!
그러니 여러분은 AI 회사에게 뭔가 맡기기 전에, 먼저 본인이 어떤 웹사이트를 쏘다니는지 먼저 파악할 필요가 있어요. 어라, 그러고 보니 옵시디언이 이미 무언가 시도해 봤군요! 다만 매 페이지 방문시마다 손으로 한땀한땀 Clipping하는건 번거로우니, 그 부분을 자동화 해보기로 해요.
Browser Extension
브라우저 플러그인을 써서 간단하게 뭔가 만들어보기로 해요.
- 모든 페이지를 방문할 때마다 0.5초 뒤에 Clip 기능이 동작하도록 함
- Clip 결과물은 S3 endpoint에 업로드 가능 - 뭐 다른 프로토콜도 좋은게 많이 있지만 S3-compatible 서버를 이미 하나 돌리고 있어서…
- 클립 기능은 뭐 직접 만들면 번거로우니 이미 Obsidian이 쓰고있는 Defuddle을 사용하기로 함
그래서 결론은
어… 음… 일이나 공부는 안하고 전자상거래, SNS, 유머 사이트만 돌아다녔다는 기록이 나와서… 역시 이런 정보는 LLM에게 주면 안되겠다…
| 순위 | 도메인 (Domain) | 클립 수 | 비율 (%) | 주요 성격 |
|---|---|---|---|---|
| 1 | www.amazon.com | 3,740 | 24.16% | 쇼핑 및 상품 페이지 |
| 2 | x.com | 3,714 | 24.00% | 트위터 포스트 및 타임라인 |
| 3 | (redacted) | 1,825 | 11.79% | 커뮤니티 유머 게시판 |
| 4 | duckduckgo.com | 939 | 6.07% | 검색 결과 목록 |
| 5 | www.google.com | 480 | 3.10% | 구글 검색 페이지 |
| 6 | www.youtube.com | 341 | 2.20% | 유튜브 동영상 |
| 7 | www.specialized.com | 340 | 2.20% | 자전거 제품 상세 페이지 |
| 8 | www.reddit.com | 235 | 1.52% | 해외 커뮤니티 포럼 |
| 9 | www.naver.com | 219 | 1.41% | 네이버 포털 및 블로그 |
| 10 | github.com | 143 | 0.92% | 오픈소스 코드 저장소 |