2インストール

v0.1.14

llm-html

CMDOPスキル — インストールと使用は、CMDOPエージェントを介して行ってください:

Bash

cmdop-skill install llm-html

cmdop-skill install llm-html

Loading code...

LLM最適化のHTMLクリーン: ハイドレーション抽出、トークン予算、複数の出力形式。

インストール

Bash

cmd install llm-html

cmd install llm-html

Loading code...

クイックスタート

Python

from llm_html import HTMLCleaner, CleanerConfig, OutputFormat

# 基本的なクリーン

cleaner = HTMLCleaner()
result = cleaner.clean(html)
print(f"削減率: {result.stats.reduction_percent}%")

# ハイドレーションファースト（Next.js、NuxtなどからSSRデータを抽出）
if result.hydration_data:
    data = result.hydration_data
else:
    cleaned = result.html

Loading code...

コンビネンス関数

Python

from llm_html import clean, clean_to_json, clean_html, clean_for_llm

# クイッククリーン
result = clean(html)

# JSONを取得する場合、SSRデータが存在する場合、またはクリーンされたHTML
data = clean_to_json(html)

# パイプラインの完全な制御
result = clean_html(html, max_tokens=5000)
result = clean_for_llm(html, output_format="markdown")

Loading code...

出力形式

Python

from llm_html import to_markdown, to_aom_yaml, to_xtree

md = to_markdown(html)
aom = to_aom_yaml(html)
xtree = to_xtree(html)

Loading code...

ダウンサンプリング

トークン予算ターゲット設定のD2Snapアルゴリズム:

Python

from llm_html import downsample_html, estimate_tokens

tokens = estimate_tokens(html)
if tokens > 10000:
    html = downsample_html(html, target_tokens=8000)

Loading code...

セマンティックチャンク

大きなページをLLMサイズのチャンクに分割する:

Python

from llm_html import SemanticChunker, ChunkConfig

config = ChunkConfig(max_tokens=8000, max_items=20)
chunker = SemanticChunker(config)
result = chunker.chunk(soup)
for chunk in result.chunks:
    process(chunk.html)

Loading code...

シャドウドメイン

Web ComponentsをLLMの可視性に平坦化する:

Python

from llm_html import flatten_shadow_dom

flat = flatten_shadow_dom(html)

Loading code...

ヘルパー

Python

from llm_html import html_to_text, extract_links, extract_images, json_to_toon

text = html_to_text(html)
links = extract_links(html, base_url="https://example.com")
images = extract_images(html)
toon = json_to_toon({"key": "value"})

Loading code...

ライセンス

MIT

Bash

cmdop-skill install llm-html

cmdop-skill install llm-html

Bash

cmd install llm-html

cmd install llm-html

Python

from llm_html import HTMLCleaner, CleanerConfig, OutputFormat

# 基本的なクリーン

cleaner = HTMLCleaner()
result = cleaner.clean(html)
print(f"削減率: {result.stats.reduction_percent}%")

# ハイドレーションファースト（Next.js、NuxtなどからSSRデータを抽出）
if result.hydration_data:
    data = result.hydration_data
else:
    cleaned = result.html

Python

from llm_html import clean, clean_to_json, clean_html, clean_for_llm

# クイッククリーン
result = clean(html)

# JSONを取得する場合、SSRデータが存在する場合、またはクリーンされたHTML
data = clean_to_json(html)

# パイプラインの完全な制御
result = clean_html(html, max_tokens=5000)
result = clean_for_llm(html, output_format="markdown")

Python

from llm_html import to_markdown, to_aom_yaml, to_xtree

md = to_markdown(html)
aom = to_aom_yaml(html)
xtree = to_xtree(html)

Python

from llm_html import downsample_html, estimate_tokens

tokens = estimate_tokens(html)
if tokens > 10000:
    html = downsample_html(html, target_tokens=8000)

Python

from llm_html import SemanticChunker, ChunkConfig

config = ChunkConfig(max_tokens=8000, max_items=20)
chunker = SemanticChunker(config)
result = chunker.chunk(soup)
for chunk in result.chunks:
    process(chunk.html)

Python

from llm_html import flatten_shadow_dom

flat = flatten_shadow_dom(html)

Python

from llm_html import html_to_text, extract_links, extract_images, json_to_toon

text = html_to_text(html)
links = extract_links(html, base_url="https://example.com")
images = extract_images(html)
toon = json_to_toon({"key": "value"})

llm-html

llm-html

インストール

クイックスタート

コンビネンス関数

出力形式

ダウンサンプリング

セマンティック チャンク

シャドウ ドメイン

ヘルパー

ライセンス

レビュー

セマンティックチャンク

シャドウドメイン