Cho $f(x)$ và $g(x)$ là hai đa thức hệ số thực, chúng ta quan tâm đến vấn đề là khi nào hàm số $h:\,\mathbb R\to\mathbb R$ với quy tắc tương ứng $h(x)=f(g(x))$ sẽ là một hàm đơn điệu trên $\mathbb R$. Rõ ràng, khi $f(x)$ hoặc $g(x)$ là hàm hằng thì $h(x)$ cũng là hàm hằng, do đó ta chỉ quan tâm đền tình huống $\deg f,\,\deg g>0$.

Do $\deg h=\deg f.\deg g$, và nếu $\deg h$ là một số nguyên dương chẵn thì \[\mathop {\lim }\limits_{x \to + \infty } h\left( x \right)\mathop {\lim }\limits_{x \to – \infty } h\left( x \right) = + \infty .\]Từ đây thấy rõ ràng là khi một trong hai đa thức $f(x)$ hoặc $g(x)$ có bậc chẵn, thì $h(x)$ không thể là hàm đơn điệu trên $\mathbb R$. Cũng để ý rằng, nếu $f(g(x))$ là nghịch biến, thì $-f(g(x))$ là hàm đồng biến, thêm nữa là nếu $f(g(x))$ là hàm đồng biến thì sau việc lấy giới hạn ra vô cực, ta thấy là hệ số ứng với bậc cao nhất của nó phải cùng dấu, mà hệ số này lại cùng dấu với tích của hai hệ số ứng với bậc cao nhất của $f(x)$ và $g(x)$ (do $\deg f,\,\deg g$ đều lẻ). Vì lẽ đó, ta chỉ cần quan tâm đến câu hỏi sau

Bài toán. Cho $f(x)$ và $g(x)$ là các đa thức bậc lẻ và có các hệ số cao nhất là dương, khi nào thì $h(x)=f(g(x))$ là một hàm đồng biến trên $\mathbb R$?

Trước khi giải quyết vấn đề trên, ta nhận thấy rằng do hợp của hai hàm đồng biến là một hàm đồng biến. Cho nên, nếu $f(x)$ và $g(x)$ là hai hàm đa thức đồng biến trên $\mathbb R$ thì $h(x)$ cũng vậy. Vì lẽ đó, ta chỉ cần quan tâm đến tình huống là: nếu một trong hai hàm $f(x)$ hoặc $g(x)$ không đơn điệu tăng, thì liệu $h(x)$ có là hàm đồng biến được hay không? Bây giờ, ta để ý các đa thức đều khả vi, và\[h'(x)=f'(g(x))g'(x),\quad\forall\,x\in\mathbb R, \quad (1).\]Ta xét hai trường hợp sau

1. Nếu $g'(x)$ có thể nhận giá trị âm, khi đó nó phải có nghiệm thực nào đó là $r$, và $r$ có bội lẻ. Do sự đơn điệu của $h(x)$ và $h(x+r)$ là tương đương nhau, nên ta có thể giả sử $r=0$ và viết được\[
   g^{\prime}(x)=x^{2 k+1} q(x), \quad (2).
   \]Trong đó, $k\in\mathbb N$ và $q(0)\ne 0$, ta lại thấy là tồn tại số tự nhiên $m$ và đa thức hệ số thực $p(x)$ với $p(g(0))\ne 0$ sao cho\[f’\left( x \right) = {\left( {x – g\left( 0 \right)} \right)^m}p\left( x \right), \quad (3).\]Từ $(2)$, áp dụng công thức Leibniz về đạo hàm của tích ta có\[{g^{\left( i \right)}}\left( x \right) = {\left( {{x^{2k + 1}}q\left( x \right)} \right)^{\left( {i – 1} \right)}} = \sum\limits_{0 \le j \le i – 1} {j!{\rm{C}}_{2k + 1}^j{\rm{C}}_{i – 1}^j{x^{2k + 1 – j}}{q^{\left( {i – 1 – j} \right)}}\left( x \right).} \]Như vậy, ${{g^{\left( i \right)}}\left( 0 \right)}=0$ với mỗi số nguyên dương $i$ không vượt quá $2k+1$, đồng thời ${{g^{\left( 2k+2 \right)}}\left( 0 \right)}=(2k+1)!q(0)\ne 0$, áp dụng khai triển Maclaurin, ta có được\[g\left( x \right) – g\left( 0 \right) = \sum\limits_{1 \le i \le \deg g} {\frac{{{g^{\left( i \right)}}\left( 0 \right)}}{{i!}}{x^i} = } \sum\limits_{2k + 1 < i \le \deg g} {\frac{{{g^{\left( i \right)}}\left( 0 \right)}}{{i!}}{x^i}} ,\quad (4).\]Nên từ $(4)$, sẽ tồn tại đa thức hệ số thực $r(x)$ với $r(0)\ne 0$ để viết được $$g(x)-g(0)=x^{2k+2}r(x),\quad (5).$$Kết hợp $(1),\,(3)$ và $(5)$ để thấy là sẽ tồn tại số tự nhiên $n$ và đa thức hệ số thực $k(x)$ với $k(0)\ne 0$ sao cho\[h'(x)=x^{2n+1}k(x),\quad (6).\]Do tính liên tục của hàm đa thức $k(x)$, và một đa thức chỉ có thể có hữu hạn nghiệm, cho nên ta có thể chọn $\delta$ đủ bé sao cho $k(x)$ không có nghiệm trong lân cận của điểm $0$ là $\left(-\delta;\,\delta\right)$, từ đó do tính liên tục nên $k(x)$ sẽ không thể đổi dấu trong lân cận $\left(-\delta;\,\delta\right)$. Cho nên, kết hợp với $(6)$ để có được \[h’\left( {\frac{\delta }{2}} \right)h’\left( { – \frac{\delta }{2}} \right) = – {\left( {\frac{\delta }{2}} \right)^{4n + 2}}k\left( {\frac{\delta }{2}} \right)k\left( { – \frac{\delta }{2}} \right) < 0.\]Như vậy là, tồn tại ít nhất một điểm mà $h'(x)<0$ cho nên $h(x)$ không thể là hàm đồng biến, cũng có nghĩa là tình huống này không thỏa mãn.
    
2. Nếu $g'(x)\ge 0$ với mọi số thực $x$, khi đó xét đa thức $P(x)=f'(g(x))$. Nếu như tồn tại số thực $a$ để $P(a)<0$, thế thì do sự hữu hạn nghiệm của các đa thức, nên sẽ tồn tại $d>0$ đủ bé để sao cho $P(x)$ và $g'(x)$ giữ dấu không đổi trong lân cận thủng $\mathop {{{\cal U}_a}}\limits^\circ =(a-d;\,a+d)\setminus\{a\}$. Và ta có $g'(x)>0>P(x)$ với mọi $x\in \mathop {{{\cal U}_a}}\limits^\circ$, nên kéo theo mâu thuẫn là $h'(x)<0$ khi $x\in \mathop {{{\cal U}_a}}\limits^\circ$. Vậy, nếu như $g'(x)\ge 0$ với mọi số thực $x$ thì $P(x)=f'(g(x))$ cũng thế, và do $g(x)$ là toàn ánh cho nên $f'(x)$ cũng vậy. Tình huống này, kéo theo cả $f(x)$ và $g(x)$ đều là các hàm đồng biến trên $\mathbb R$. Và, nó không thuộc trường hợp đang xét.

Tổng kết lại các ý tứ, ta sẽ có được câu trả lời cho bài toán đặt ra qua các định lý sau

Định lý 1. Cho các đa thức hệ số thực $f(x)$ và $g(x)$, điều kiện cần và đủ để $f(g(x))$ là hàm đồng biến trên $\mathbb R$ là, cả $f(x)$ và $g(x)$ đều cũng là hàm đồng biến hoặc cùng là hàm nghịch biến trên $\mathbb R$.

Định lý 2. Cho các đa thức hệ số thực $f(x)$ và $g(x)$, điều kiện cần và đủ để $f(g(x))$ là hàm nghịch biến trên $\mathbb R$ là $f(x)$ là hàm đồng biến và $g(x)$ là hàm nghịch biến trên $\mathbb R$ hoặc là ngược lại.

Ở những lý lẽ phía trên, tôi có sử dụng hai nhận xét sau đây.

Nhận xét 1. Hàm đa thức hệ số thực có bậc lẻ là một toàn ánh từ tập số thực vào chính nó.

Cái này chứng minh quá đơn giản, nhờ định lý hàm liên tục và để ý là nếu $f(x)$ là một đa thức hệ số thực có bậc lẻ thì\[\mathop {\lim }\limits_{x \to + \infty } f\left( x \right)\mathop {\lim }\limits_{x \to – \infty } f\left( x \right) = – \infty .\]

Nhận xét 2.  Với $f(x)$ là một đa thức hệ số thực có bậc dương và số thực $a$ cho trước không là nghiệm của $f(x)$, khi đó tồn tại $r>0$ để trong lân cận $(a-d;\,a+d)$ giá trị của $f(x)$ sẽ có dấu không đổi.

Chứng minh cho nhận xét này rất đơn giản. Nó là rất tầm thường, nếu $f(x)$ vô nghiệm thực. Trong tình huống $f(x)$ có một nghiệm thực nào đó khác $a$, thì do $f(x)$ chỉ có hữu hạn nghiệm nên ta chọn $r$ là nghiệm khác $a$ sao cho $|r-a|$ đạt nhỏ nhất. Lúc này,  chọn $d=\frac{1}{2}|r-a|$ thì trong lân cận $(a-d;\,a+d)$ sẽ không có nghiệm nào của $f(x)$ nữa. Kết hợp tính liên tục, ta có $f(x)$ không đổi dấu.

Lưu ý là ở trường hợp 2 trong lý lẽ trên, tôi phải chọn lân cận thủng để né cái tình huống $g(a)=0$. Né $a$ ra, nhưng vì đang trong trường hợp $g(x)$ luôn không âm, cho nên chẳng ảnh hưởng gì đến chứng minh sất.

Cũng lưu ý là trong trường hợp 1 ở lý luận trên, khi $g'(x)$ đổi dấu khi $x$ chạy qua $0$ để chứng tỏ viết được $g(x)-g(0)=x^{2k+2}r(x)$ như ở $(5)$ từ $(2)$ và né việc dùng công thức Leibniz và khai triển Maclaurin hữu hạn (các kiến thức ngoài sách giáo khoa phổ thông), ta có thể dùng biến đổi tích phân từng phần sau đây\[g\left( x \right) – g\left( 0 \right) = \int\limits_0^x {{t^{2k + 1}}q\left( t \right)dt} = \frac{1}{{2k + 2}}{x^{2k + 2}}q\left( x \right) – \frac{1}{{2k + 2}}\int\limits_0^x {{t^{2k + 2}}q’\left( t \right)dt.} \]Khi đó, nếu viết ra biểu diễn đa thức của $q'(x)$ là $$q’\left( x \right) = {q_0} + {q_1}x + \ldots + {q_d}{x^d},$$ sẽ có\[g\left( x \right) – g\left( 0 \right) = \frac{1}{{2k + 2}}{x^{2k + 2}}q\left( x \right) – \frac{1}{{2k + 2}}\sum\limits_{0 \le i \le d} {\frac{{{q_j}{x^{2k + 2 + i + 1}}}}{{2k + 2 + i + 1}}} .\]Từ đó, để mà thấy\[r\left( x \right) = \frac{1}{{2k + 2}}q\left( x \right) – \frac{1}{{2k + 2}}\sum\limits_{0 \le i \le d} {\frac{{{q_j}{x^{i + 1}}}}{{2k + 2 + i + 1}}} .\]Rõ ràng là $r(x)$ là đa thức hệ số thực, và $r(0)=\frac{1}{{2k + 2}}q\left( 0 \right)\ne 0$ do $q(0)\ne 0$.