Назад к списку моделей

qwen3-coder:30b | RAG on

Кумулятивный профиль модели по завершённым sample. Синий набор столбцов на графике — текущая модель. Если выбрать вторую модель ниже, на графике появится красный набор столбцов для прямого сравнения.

RAG modeRAG on
synth_pass_at_k53.2%
final_success_at_k53.2%
functional_pass_at_k75.3%
Задач77
Sample2441
samples_per_task31.7
Бенчмаркиilyasov, rtllm

Обзор метрик

Сравнение с другой моделью

Выбери другой профиль, чтобы добавить его в график и сравнить кумулятивные метрики напрямую.

Выбранная модельНет
synth_pass_at_k-
final_success_at_k-
functional_pass_at_k-
samples_per_task-
Открыть страницу-

Краткий ликбез по метрикам

Metric Что означает
extract_pass_at_kДоля задач, где модель хотя бы один раз выдала извлекаемый Verilog-код.
syntax_pass_at_kДоля задач, где модель хотя бы один раз сгенерировала синтаксически корректный RTL.
functional_pass_at_kДоля задач, где модель хотя бы один раз прошла functional-проверку.
synth_pass_at_kДоля задач, где модель хотя бы один раз сгенерировала синтезируемый RTL. Это главный итоговый рейтинг на странице.
final_success_at_kДоля задач, где модель хотя бы один раз полностью прошла всю цепочку проверки.
functional_pass_rate_samplesКакой процент всех sample прошёл functional. Это метрика стабильности на уровне отдельных попыток.
synth_pass_rate_samplesКакой процент всех sample прошёл synthesis. Это метрика устойчивости на уровне отдельных попыток.
samples_per_taskСреднее число sample на одну задачу в данном профиле модели.
final_success_samplesСколько sample конкретной задачи полностью прошли всю цепочку.
final_success_rate_samplesДоля полностью успешных sample для конкретной задачи.

Сводка по бенчмаркам

Бенчмарк Задач Sample functional_pass_at_k synth_pass_at_k final_success_at_k
ilyasov 27 891 100.0% 85.2% 85.2%
rtllm 50 1550 62.0% 36.0% 36.0%

Задачи

Эта таблица показывает не только факт “задача закрылась”, но и насколько стабильно модель её решала по всем sample.

Бенчмарк Задача Название Sample final_success_samples final_success_rate_samples functional_pass_rate_samples synth_pass_rate_samples synth_pass_at_k final_success_at_k samples_page
ilyasov 04_chiplet_die_to_die_integration / task_41 ucie_flit_packager 33 0 0.0% 9.1% 0.0% нет нет Open samples
ilyasov 05_dft_testability / task_51 scan_reset_override_reg 33 0 0.0% 9.1% 0.0% нет нет Open samples
ilyasov 05_dft_testability / task_52 jtag_tap_debug 33 0 0.0% 9.1% 0.0% нет нет Open samples
ilyasov 06_reset_domain_crossing / task_61 ordered_reset_ctrl 33 0 0.0% 9.1% 0.0% нет нет Open samples
rtllm 13_rtllm_arithmetic / task_01 verified_accu 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_arithmetic / task_02 verified_adder_16bit 31 0 0.0% 67.7% 0.0% нет нет Open samples
rtllm 13_rtllm_arithmetic / task_03 verified_adder_32bit 31 0 0.0% 38.7% 0.0% нет нет Open samples
rtllm 13_rtllm_arithmetic / task_04 verified_adder_8bit 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_arithmetic / task_06 verified_adder_64bit 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_arithmetic / task_09 verified_div_16bit 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_arithmetic / task_10 verified_radix2_div 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_arithmetic / task_11 verified_multi_16bit 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_arithmetic / task_13 verified_multi_booth_8bit 31 0 0.0% 100.0% 0.0% нет нет Open samples
rtllm 13_rtllm_arithmetic / task_14 verified_multi_pipe 31 0 0.0% 90.3% 0.0% нет нет Open samples
rtllm 13_rtllm_arithmetic / task_15 verified_multi_pipe_8bit 31 0 0.0% 100.0% 0.0% нет нет Open samples
rtllm 13_rtllm_control / task_01 verified_counter_12 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_control / task_02 verified_JC_counter 31 0 0.0% 71.0% 0.0% нет нет Open samples
rtllm 13_rtllm_control / task_03 ring_counter 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_control / task_05 verified_fsm 31 0 0.0% 64.5% 0.0% нет нет Open samples
rtllm 13_rtllm_memory / task_01 verified_asyn_fifo 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_memory / task_04 LFSR 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_memory / task_05 verified_right_shifter 31 0 0.0% 100.0% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_05 verified_calendar 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_06 verified_edge_detect 31 0 0.0% 93.5% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_07 verified_parallel2serial 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_08 verified_pulse_detect 31 0 0.0% 100.0% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_09 verified_serial2parallel 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_10 verified_synchronizer 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_11 verified_traffic_light 31 0 0.0% 100.0% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_12 verified_width_8to16 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_13 verified_alu 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_14 clkgenerator 31 0 0.0% 51.6% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_16 verified_pe 31 0 0.0% 100.0% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_17 verified_RAM 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_18 ROM 31 0 0.0% 0.0% 0.0% нет нет Open samples
rtllm 13_rtllm_miscellaneous / task_19 verified_signal_generator 31 0 0.0% 0.0% 0.0% нет нет Open samples
ilyasov 01_ip_integration / task_12 width_upsizer 33 1 3.0% 9.1% 3.0% да да Open samples
ilyasov 10_fault_tolerant_safety / task_100 ecc_guarded_byte 33 1 3.0% 3.0% 3.0% да да Open samples
ilyasov 07_csr_register_map_generation / task_71 apb_lock_cfg 33 2 6.1% 9.1% 6.1% да да Open samples
ilyasov 10_fault_tolerant_safety / task_101 lockstep_event_counter 33 2 6.1% 6.1% 6.1% да да Open samples
ilyasov 03_low_power_design / task_34 soc_top 33 3 9.1% 9.1% 9.1% да да Open samples
ilyasov 05_dft_testability / task_50 scan_reg8 33 3 9.1% 9.1% 9.1% да да Open samples
ilyasov 05_dft_testability / task_53 mbist_ram_wrapper 33 3 9.1% 9.1% 9.1% да да Open samples
ilyasov 06_reset_domain_crossing / task_60 reset_sync_2ff 33 3 9.1% 9.1% 9.1% да да Open samples
ilyasov 06_reset_domain_crossing / task_62 triple_reset_sequencer 33 3 9.1% 9.1% 9.1% да да Open samples
ilyasov 06_reset_domain_crossing / task_63 delayed_reset_release 33 3 9.1% 9.1% 9.1% да да Open samples
ilyasov 07_csr_register_map_generation / task_70 apb_timer_csr 33 3 9.1% 9.1% 9.1% да да Open samples
ilyasov 07_csr_register_map_generation / task_72 axil_sensor_csr 33 3 9.1% 9.1% 9.1% да да Open samples
ilyasov 07_csr_register_map_generation / task_73 apb_sample_csr 33 3 9.1% 9.1% 9.1% да да Open samples
ilyasov 08_spec_clarification / task_80 event_counter_alert 33 3 9.1% 9.1% 9.1% да да Open samples
ilyasov 09_constraint_aware_timing / task_90 dual_mac_timing 33 3 9.1% 9.1% 9.1% да да Open samples
ilyasov 11_side_channel_constant_time / task_110 consttime_word_compare 33 3 9.1% 9.1% 9.1% да да Open samples
ilyasov 11_side_channel_constant_time / task_111 consttime_byte_search 33 3 9.1% 9.1% 9.1% да да Open samples
rtllm 13_rtllm_arithmetic / task_18 float_multi 31 4 12.9% 12.9% 12.9% да да Open samples
rtllm 13_rtllm_arithmetic / task_12 multi_8bit 31 7 22.6% 22.6% 22.6% да да Open samples
rtllm 13_rtllm_arithmetic / task_16 fixed_point_adder 31 9 29.0% 29.0% 29.0% да да Open samples
rtllm 13_rtllm_control / task_06 sequence_detector 31 10 32.3% 32.3% 32.3% да да Open samples
rtllm 13_rtllm_miscellaneous / task_20 square_wave 31 10 32.3% 32.3% 32.3% да да Open samples
ilyasov 03_low_power_design / task_40 power_aware_fsm 33 11 33.3% 33.3% 33.3% да да Open samples
rtllm 13_rtllm_arithmetic / task_17 fixed_point_subtractor 31 16 51.6% 51.6% 51.6% да да Open samples
rtllm 13_rtllm_arithmetic / task_08 comparator_4bit 31 23 74.2% 74.2% 74.2% да да Open samples
rtllm 13_rtllm_miscellaneous / task_03 freq_divbyfrac 31 25 80.6% 80.6% 80.6% да да Open samples
ilyasov 01_ip_integration / task_11 axi2apb_write_bridge 33 31 93.9% 93.9% 93.9% да да Open samples
ilyasov 02_clock_domain_crossing / task_24 cdc_bus_sync 33 31 93.9% 93.9% 93.9% да да Open samples
ilyasov 00_security_vulnerability_detection / task_01 secure_reg 33 33 100.0% 100.0% 100.0% да да Open samples
ilyasov 00_security_vulnerability_detection / task_06 shared_reg 33 33 100.0% 100.0% 100.0% да да Open samples
ilyasov 12_cdv / task_121 queue_credit_tracker 33 33 100.0% 100.0% 100.0% да да Open samples
rtllm 13_rtllm_arithmetic / task_05 adder_bcd 31 31 100.0% 100.0% 100.0% да да Open samples
rtllm 13_rtllm_arithmetic / task_07 comparator_3bit 31 31 100.0% 100.0% 100.0% да да Open samples
rtllm 13_rtllm_arithmetic / task_19 sub_64bit 31 31 100.0% 100.0% 100.0% да да Open samples
rtllm 13_rtllm_control / task_04 up_down_counter 31 31 100.0% 100.0% 100.0% да да Open samples
rtllm 13_rtllm_memory / task_02 LIFObuffer 31 31 100.0% 100.0% 100.0% да да Open samples
rtllm 13_rtllm_memory / task_03 barrel_shifter 31 31 100.0% 100.0% 100.0% да да Open samples
rtllm 13_rtllm_miscellaneous / task_01 freq_div 31 31 100.0% 100.0% 100.0% да да Open samples
rtllm 13_rtllm_miscellaneous / task_02 freq_divbyeven 31 31 100.0% 100.0% 100.0% да да Open samples
rtllm 13_rtllm_miscellaneous / task_04 freq_divbyodd 31 31 100.0% 100.0% 100.0% да да Open samples
rtllm 13_rtllm_miscellaneous / task_15 instr_reg 31 31 100.0% 100.0% 100.0% да да Open samples