Sveobuhvatan vodič za Evaluation Harness: Ovladavanje evaluacijom performansi LLM-ova

# Vodič za Evaluation Harness

## Uvod u Evaluation Harness

Evaluation Harness je moćan radni okvir otvorenog koda dizajniran specifično za evaluaciju velikih jezičkih modela (LLM). Razvijen od strane EleutherAI zajednice, on standardizuje proces benčmarkovanja LLM-ova kroz različite zadatke, metrike i skupove podataka. U korporativnom LLMOps-u, on služi kao kamen temeljac za selekciju modela, validaciju finog podešavanja i kontinuirano praćenje.

Ključne prednosti uključuju: - **Doslednost**: Uniformni protokoli evaluacije kroz modele i zadatke. - **Skalabilnost**: Efikasno upravlja masivnim skupovima podataka i višestrukim modelima. - **Proširivost**: Podržava prilagođene zadatke, skupove podataka i metrike. - **Reproduktibilnost**: Deterministički rezultati sa postavljenim nasumičnim vrednostima i keširanjem.

Idealno za timove koji prelaze sa ad-hoc testiranja na evaluaciju LLM-ova produkcionog nivoa.

## Preduslovi i instalacija

Pre nego što počnete, uverite se da vaše okruženje ispunjava ove zahteve: - Python 3.10+. - GPU/TPU akceleracija (preporučeno za velike modele). - Dovoljno RAM-a (16GB+ za modele srednje veličine).

### Step-by-Step Installation 1. Clone the repository: ```bash git clone https://github.com/EleutherAI/lm-evaluation-harness git checkout main ```

2. Install dependencies: ```bash pip install -e . pip install torch transformers datasets ```

3. For specific tasks (e.g., vision-language models): ```bash pip install timm pillow ```

4. Verify installation: ```bash lm_eval --help ```

Pro savet: Koristite virtuelno okruženje kao što je `venv` ili `conda` da biste izolovali zavisnosti.

## Osnovni koncepti

### Zadaci i skupovi podataka Evaluation Harness podržava više od 200 zadataka odmah po instalaciji, kategorisanih kao: - **Klasifikacija**: ARC, BoolQ, HellaSwag. - **Generativni**: AlpacaEval, MT-Bench. - **Rezonovanje**: GSM8K, MATH. - **Multimodalni**: MMMU, MathVista.

Skupovi podataka se automatski preuzimaju sa Hugging Face Hub-a.

### Metrike Uobičajene metrike uključuju: - **Tačnost (Accuracy)**: Tačno podudaranje za klasifikaciju. - **F1**: Balansirana preciznost/odziv. - **Perpleksnost (Perplexity)**: Za generativnu tečnost. - **BLEU/ROUGE**: Prevođenje i sumiranje.

Prilagođene metrike putem `--metric` zastavice.

### Učitavanje modela Podržava HF Transformers, Llama.cpp, vLLM i druge: - Hugging Face: `meta-llama/Llama-2-7b-chat-hf` - Lokalno: Prilagođene putanje sa kvantizacijom (npr. 4-bitna).

## Pokretanje osnovnih evaluacija

### Command-Line Interface (CLI) Start with a simple benchmark: ```bash lm_eval --model hf --model_args pretrained=model_name,trust_remote_code=True --tasks hellaswag,arc_easy --device cuda:0 --batch_size auto ```

Analiza: - `--model hf`: Hugging Face učitavač. - `--tasks`: Zadaci razdvojeni zarezom. - `--batch_size auto`: Optimizuje za hardver.

### Interpretacija rezultata Izlaz uključuje: - **acc**: Rezultat tačnosti. - **acc_stderr**: Standardna greška. - JSON kompatibilan sa rang listom.

Example output: ``` hellaswag: acc=0.9123 (±0.0012) arc_easy: acc=0.7845 (±0.0021) ```

## Napredno korišćenje

### Multi-Model Leaderboards Compare models: ```bash lm_eval --model hf --model_args pretrained=model1 --tasks all --limit 1000 lm_eval --model hf --model_args pretrained=model2 --tasks all --limit 1000 ``` Aggregate with `--save_jsonl` and external tools.

### Prilagođeni zadaci 1. Definišite zadatak u `lm_eval/tasks/`: - YAML konfiguracija za skup podataka. - Python procesor za few-shot prompting.

2. Example custom task YAML: ```yaml task: my_custom_task dataset_path: huggingface dataset_name: my_dataset training_split: train fewshot_split: validation metric_list: - metric: acc aggregation: mean higher_is_better: true ```

3. Pokrenite: `lm_eval --tasks my_custom_task`

### Few-Shot i Chain-of-Thought Prompting - `--num_fewshot 5`: Primeri u kontekstu. - Prilagođeni šabloni putem `--gen_kwargs temperature=0.7`.

Za CoT: Koristite zadatke kao što je `gsm8k_cot`.

## Optimizacija i najbolje prakse

### Podešavanje performansi - **Batching**: `--batch_size 32` ili `auto`. - **Quantization**: `--model_args dtype=bfloat16,load_in_4bit=True`. - **Distributed**: `--multi_gpu` za Ray integraciju.

### Isplativost - Ograničite uzorke: `--limit 500`. - Koristite manje podskupove: `--subsample 0.1`. - Keširajte rezultate: `--cache_dir /putanja/do/keša`.

### Saveti za pouzdanost - Pokrenite više nasumičnih vrednosti (seeds): `--num_generations 8`. - Bootstrap intervali poverenja. - Zabeležite sve pomoću `--log_samples`.

## Integracija u LLMOps pajplajne

Embed in CI/CD: 1. GitHub Actions YAML: ```yaml - name: Evaluate Model run: lm_eval --model hf --model_args pretrained=${{ inputs.model }} --tasks core --batch_size auto > results.json ```

2. MLflow tracking: ```python import mlflow mlflow.log_metrics(results) ```

3. Prometheus/Grafana za kontrolne table.

## Rešavanje uobičajenih problema

- **OOM greške**: Smanjite veličinu serije (batch size) ili koristite gradient checkpointing. - **CUDA Out of Memory**: Omogućite `torch.backends.cuda.enable_flash_sdp(True)`. - **Sporo zaključivanje**: Prebacite se na vLLM loader: `--model vllm`. - **Skup podataka nije pronađen**: Proverite HF pristupni token.

## Zaključak i sledeći koraci

Evaluation Harness transformiše subjektivnu procenu LLM-ova u proces zasnovan na podacima. Počnite sa osnovnim zadacima, skalirajte do prilagođenih evaluacija i integrišite u svoj LLMOps radni tok.

Resursi: - GitHub: [EleutherAI/lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness) - Rang lista: [Open LLM Leaderboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard) - Discord: EleutherAI zajednica.

Eksperimentišite danas kako biste otključali precizne uvide u modele.