Arabic Agent Eval
Arabic function-calling benchmark — evaluate how well LLMs handle tool calling in Arabic
Install
$ agentstack add skill-moshe-ship-hurmoz-arabic-agent-eval ✓ scanned · ✓ verified, works with Claude Code, Cursor, and more.
Security review
✓ PassedNo issues found. Passed automated security review. · v0.1.0 How review works →
- ✓ Prompt-injection patterns
- ✓ Secret / credential exfiltration
- ✓ Dangerous shell & filesystem operations
- ✓ Untrusted network calls
- ✓ Known-malicious package signatures
What it can access
- ✓ Network access No
- ✓ Filesystem access No
- ✓ Shell / process execution No
- ✓ Environment & secrets No
- ✓ Dynamic code execution No
From automated source analysis of v0.1.0. “Used” means the capability is present in the source — more access means more to trust, not that it’s unsafe.
Verified badge
Passed review? Show it. Paste this badge into your README, it links to the public security report.
Links to your public security report.[](https://agentstack.voostack.com/security/report/skill-moshe-ship-hurmoz-arabic-agent-eval) Reliability & compatibility
Declared compatibility
Compatibility is declared by the source manifest. End-to-end runtime verification is coming, see below.
We're building live execution health for every listing: tool-call success rate, median latency, uptime, and last-checked timestamps, measured, not self-reported. It isn't live yet, so we don't show numbers we can't stand behind.
How agent discovery & health will work →About
تقييم الوكلاء العرب — Arabic Agent Eval
أول معيار قياس لاستدعاء الأدوات بالعربي.
التثبيت
pip install arabic-agent-evalالاستخدام
تقييم سريع
aae quick openaiتقييم كامل
aae runمقارنة بين موفرين
aae compare openai anthropicفئات التقييم
ست فئات:
- استدعاء بسيط — اختيار الدالة الصحيحة واستخراج المعاملات
- استخراج المعاملات — استخراج بيانات عربية من نص طبيعي
- تفكير متعدد الخطوات — سلسلة استدعاءات متتابعة
- معالجة اللهجات — فهم خليجي ومصري وشامي ومغاربي
- اختيار الأداة — اختيار الأداة الصحيحة من عشر خيارات
- معالجة الأخطاء — التعامل مع ردود الخطأ بالعربي
مجموعة البيانات
- واحد وخمسين عنصر تقييم
- خمس لهجات عربية
- اثنين وعشرين دالة عربية (صلاة، زكاة، قرآن، أسهم تداول، وغيرها)
- ثلاث مستويات صعوبة
التقييم
لكل عنصر:
- اختيار الدالة: هل اختار الموديل الدالة الصحيحة؟
- دقة المعاملات: هل المعاملات المستخرجة صحيحة؟
- حفظ العربية: هل القيم العربية محفوظة ولا تُرجمت؟
- فهم اللهجة: هل فهم الموديل اللهجة؟
إحصائيات المجموعة
aae datasetSource & license
This open-source skill is cataloged on AgentStack and links to its original source — we do not rehost the code.
- Author: Moshe-ship
- Source: Moshe-ship/hurmoz
- License: MIT
Install and usage instructions live in the source repository linked above.
Reviews
No reviews yet, be the first.
Write a review
Versions
- v0.1.0 Imported from the upstream source.