Language Model là chi rứa?
N-gram Language Models
Như vậy ta sẽ có xác suất của một chuỗi là như sau:PN(W)=∏k=1KP(wk∣wk−N+1wk−N+2...wk−1)P_N(W) = prod_{k=1}^K P(w_k|w_{k - N + 1}w_{k-N+2}...w_{k-1}) PN(W)=k=1∏KP(wk∣wk−N+1wk−N+2...wk−1)Thông thường người ta sẽ chọn N=1,2,3N=1,2,3N=1,2,3Người ta còn gọi mô hình này với cái tên khác là (N-1)-order Markov Models.Nhưng mà, mô hình này có các nhược điểm như sau:
Structured Language Models
Giả sử chúng ta có câu sau: "The dogs chasing the cat bark". Ta sẽ thấy rằng xác suất của trigram P(bark∣the cat)P(text{bark}| text{the cat})P(bark∣the cat) sẽ rất thấp vì một mặt là mèo không kêu "gâu gâu", mặt khác là từ "bark" là số nhiều trong kh...
Bạn đã thích câu chuyện này ?
Hãy chia sẻ bằng cách nhấn vào nút bên trên
Truy cập trang web của chúng tôi và xem tất cả các bài viết khác!