Comparative Analysis of Large Language Models: Responses to Ethical, Offensive, and Biased Prompts

In this study, a comprehensive comparison is conducted among four principal Large Language Models (LLMs) - LLaMA, Gemini, PALM, and GPT. The aim is to critically evaluate their performance and responses to prompts categorized under offensiveness, unfairness and bias, as well as ethics and morality. To ensure a balanced assessment, the dataset, originally sourced and created by Chinese researchers, carefully edited to ensure cultural neutrality and contextual clarity for the assessment of Western models. This adjustment makes it a more equitable basis for evaluating the LLMs' capabilities. Additionally, the research accounts for the potential of model refusal to engage with highly offensive content, safeguards were implemented to prevent model breakdowns during the processing of particularly offensive questions. The findings of this research underscore the susceptibility of LLMs to manipulation despite their widespread application across various domains. This analysis sheds light on the current limitations of LLMs and establishes a framework for more equitable and responsible testing environments. The results have implications for the future development and deployment of LLMs, emphasizing the need for robust frameworks and datasets that can handle sensitive content without compromising ethical standards. This study further contributes to the dialogue on the importance of ethical AI development, advocating for continuous oversight and the integration of diverse perspectives to mitigate biases and ensure that future iterations of LLMs are more aligned with societal values and ethical considerations.

В данном исследовании проводится всестороннее сравнение четырех основных Больших Языковых Моделей (LLMs) - LLaMA, Gemini, PALM и GPT. Цель заключается в критической оценке их производительности и реакций на запросы, классифицированные по оскорбительности, несправедливости и предвзятости, а также этике и морали. Для обеспечения сбалансированной оценки набор данных, первоначально полученный и созданный китайскими исследователями, тщательно отредактирован для обеспечения культурной нейтральности и контекстуальной ясности для оценки западных моделей. Это корректировка делает его более справедливой основой для оценки способностей LLMs. Кроме того, исследование учитывает потенциал отказа модели взаимодействовать с высоко оскорбительным контентом, были реализованы меры предосторожности для предотвращения сбоев модели во время обработки особенно оскорбительных вопросов. Результаты этого исследования подчеркивают восприимчивость LLMs к манипуляциям, несмотря на их широкое применение в различных областях. Этот анализ освещает текущие ограничения LLMs и устанавливает рамки для более справедливых и ответственных тестовых сред. Результаты имеют значение для будущего развития и внедрения LLMs, подчеркивая необходимость прочных рамок и наборов данных, которые могут обрабатывать чувствительный контент без ущерба для этических стандартов. Это исследование дополнительно способствует диалогу о важности этической разработки ИИ, выступая за непрерывный контроль и интеграцию разнообразных перспектив для снижения предвзятости и обеспечения того, чтобы будущие итерации LLMs были более согласованными с общественными ценностями и этическими соображениями.