# Arabench

> Arabic LLM benchmarking across 8 quality categories

- **Type:** Skill
- **Install:** `agentstack add skill-moshe-ship-hurmoz-arabench`
- **Verified:** Yes — security-reviewed for prompt injection and unsafe behavior
- **Seller:** [Moshe-ship](https://agentstack.voostack.com/s/moshe-ship)
- **Installs:** 0
- **Category:** [AI & ML](https://agentstack.voostack.com/c/ai-and-ml)
- **Latest version:** 0.1.0
- **License:** MIT
- **Upstream author:** [Moshe-ship](https://github.com/Moshe-ship)
- **Source:** https://github.com/Moshe-ship/hurmoz/tree/main/arabench

## Install

```sh
agentstack add skill-moshe-ship-hurmoz-arabench
```

Requires the [AgentStack CLI](https://agentstack.voostack.com/docs/cli). Works with Claude Code, Cursor, and any MCP-compatible agent.

## About

# arabench — معيار جودة العربية للنماذج

أداة لتقييم جودة الذكاء الاصطناعي بالعربي عبر 8 فئات.

## الأوامر

### تشغيل المعيار الكامل
```bash
arabench run
```

النتيجة المتوقعة:
```
╔══════════════════════════════════════════════╗
║          arabench — Full Benchmark           ║
╠════════════════╦═══════╦═══════╦═════════════╣
║ Category       ║ GPT-4 ║ Claude║ Gemini      ║
╠════════════════╬═══════╬═══════╬═════════════╣
║ Translation    ║  82   ║  87   ║  79         ║
║ Grammar        ║  76   ║  84   ║  74         ║
║ Dialect        ║  68   ║  71   ║  65         ║
║ Diacritization ║  54   ║  62   ║  51         ║
║ Summarization  ║  78   ║  83   ║  76         ║
║ QA             ║  81   ║  85   ║  78         ║
║ Generation     ║  75   ║  80   ║  73         ║
║ Culture        ║  70   ║  77   ║  66         ║
╠════════════════╬═══════╬═══════╬═════════════╣
║ OVERALL        ║  73.0 ║  78.6 ║  70.3       ║
╚════════════════╩═══════╩═══════╩═════════════╝
```

### اختبار سريع لمزوّد واحد
```bash
arabench quick claude
arabench quick gpt4
arabench quick gemini
```

النتيجة — نتائج سريعة خلال 30 ثانية لأهم 3 فئات (translation, grammar, qa).

### مقارنة مزوّدين
```bash
arabench compare claude gpt4
```

النتيجة المتوقعة:
```
claude vs gpt4 — Arabic Quality Comparison
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Translation:    claude 87 ████████▋  vs  gpt4 82 ████████▏
Grammar:        claude 84 ████████▍  vs  gpt4 76 ███████▌
Dialect:        claude 71 ███████    vs  gpt4 68 ██████▊
Winner: claude (+5.6 avg)
```

### عرض لوحة النتائج
```bash
arabench leaderboard
```

يعرض ترتيب جميع المزوّدين المُقيّمين حسب المعدل العام.

### شرح فئة تقييم
```bash
arabench explain translation
arabench explain dialect
arabench explain diacritization
```

## الفئات الثمانية بالتفصيل

| الفئة | الوصف | أمثلة الاختبار |
|-------|-------|----------------|
| translation | دقة الترجمة عربي↔إنجليزي | مصطلحات تقنية، تعابير اصطلاحية |
| grammar | صحة القواعد النحوية والصرفية | إعراب، تصريف أفعال، جمع تكسير |
| dialect | فهم اللهجات الخمس | مصري، خليجي، شامي، مغاربي، عراقي |
| diacritization | دقة التشكيل | نصوص بدون تشكيل يُطلب تشكيلها |
| summarization | جودة التلخيص العربي | مقالات إخبارية، نصوص أكاديمية |
| qa | الإجابة على أسئلة بالعربي | ثقافية، تاريخية، علمية |
| generation | جودة توليد النصوص | مقالات، قصص، محتوى تسويقي |
| culture | الوعي الثقافي العربي | عادات، أمثال، سياق اجتماعي |

## نظام التقييم

- **90-100**: ممتاز — أداء يقارب المتحدث الأصلي
- **80-89**: جيد جدا — أخطاء نادرة وطفيفة
- **70-79**: جيد — يفهم السياق لكن فيه أخطاء ملحوظة
- **60-69**: مقبول — يحتاج تدقيق بشري
- **أقل من 60**: ضعيف — غير موثوق للاستخدام الإنتاجي

## متى تستخدم
- المستخدم يسأل "أي نموذج أفضل بالعربي؟"
- يريد مقارنة بين Claude و GPT أو غيرهم
- يريد يعرف نقاط ضعف نموذج معين بالعربي
- يختار نموذج لمشروع يتطلب عربي عالي الجودة
- يريد يفهم ليش نموذج معين ضعيف بالتشكيل أو اللهجات

## Source & license

This open-source skill is cataloged on AgentStack and links to its original source — we do not rehost the code.

- **Author:** [Moshe-ship](https://github.com/Moshe-ship)
- **Source:** [Moshe-ship/hurmoz](https://github.com/Moshe-ship/hurmoz)
- **License:** MIT

Install and usage instructions live in the source repository linked above.

## Pricing

- **Free** — Free

## Security capabilities

Automated source analysis of v0.1.0 — what this tool can access:

- **Network access:** no
- **Filesystem access:** no
- **Shell / process execution:** no
- **Environment & secrets:** no
- **Dynamic code execution:** no

*"Yes" means the capability is present in the source — more access means more to trust, not that it is unsafe.*


## Versions

- **0.1.0** — security scan: passed — Imported from the upstream source.

## Links

- Listing page: https://agentstack.voostack.com/l/skill-moshe-ship-hurmoz-arabench
- Seller: https://agentstack.voostack.com/s/moshe-ship
- Browse the marketplace: https://agentstack.voostack.com/browse

---
Listed on AgentStack — the marketplace for AI agent skills and MCP servers. Every listing is security-reviewed. Creators keep 70%.